Ночные прогоны и сон: как совместить

Прогон у меня ночной, часов на шесть. Запускаю перед сном и потом просыпаюсь среди ночи посмотреть, живой ли он. Дважды за неделю вставала зря, один раз наоборот проспала падение на втором часу и потеряла всю ночь.

Хочется устроить так, чтобы ночью машина работала сама, а я утром смотрела итог. Пока у меня в кроне одна строка и лог, который я читаю глазами.

Что вы ставите между запуском и утром? Надо понять, что должно случиться, если прогон упал в три ночи: перезапуск, сообщение, остановка до утра. И как утром за минуту понять, что ночь прошла нормально.

Первое, что стоит поставить, это замок на запуск. Крон честно стартует новый прогон поверх старого, если предыдущий не успел закончиться, и утром вы получаете два процесса и покорёженную выгрузку.

flock снимает это одной строкой в начале скрипта.

И сразу переезжайте с крона на таймер systemd. Там есть Persistent, есть отдельная запись о каждом запуске в журнале, и главное есть OnFailure, который дёргает второй юнит при падении.

Вот этого я и не знала. То есть уведомление живёт отдельным юнитом и в сам скрипт лезть не надо?

cronjob, про замок поняла, ставлю сегодня же.

Лезть не надо. Пишете два файла и забываете про них.

# /etc/systemd/system/progon.service
[Unit]
Description=nochnoy progon
OnFailure=uvedomlenie@%n.service

[Service] Type=oneshot ExecStart=/usr/local/bin/progon.sh ```

# /etc/systemd/system/progon.timer
[Timer]
OnCalendar=*-*-* 01:30:00
RandomizedDelaySec=600
Persistent=true

[Install] WantedBy=timers.target ```

Разброс старта тут не для красоты: если таймеров несколько, они перестают стартовать в одну секунду и драться за канал.

Сначала замер, потом мнение. Заведите файл прогресса: одна строка, число обработанных и время последней записи. По нему сторож понимает, жив прогон или встал.

Сторож у меня простой: раз в десять минут читает ту самую строку и сравнивает с прошлой. Не сдвинулась за полчаса, значит прогон висит.

Дальше по обстановке. Первый раз сторож поднимает прогон с последней отметки, второй раз за ночь уже гасит всё и пишет мне в мессенджер. Иначе он будет бодро перезапускать сломанное до утра и сожжёт лимит запросов на сутки вперёд.

Главное, что меняет ночь, это умение продолжить с середины. Пока прогон начинается только с нуля, любая ошибка на пятом часу стоит вам всей ночи, и никакой сторож тут не спасёт.

Делается это скучно и надёжно. Список заданий кладётся в файл или таблицу, у каждой строки статус: ждёт, в работе, готово, ошибка. Скрипт берёт первую строку со статусом «ждёт», помечает её как «в работе», делает дело и ставит «готово». Упал посреди, при следующем старте всё, что висит в работе дольше получаса, возвращается в «ждёт».

После этого перезапуск перестаёт быть событием. Он стоит вам нескольких минут, потерянных заданий нет вообще.

Логи читаю раньше почты, поэтому добавлю про утро. Сделайте отдельный короткий файл итога: время старта, время финиша, сколько сделано, сколько ошибок, три последние строки с ошибками. Читается за десять секунд, полный лог открываете, только когда итог не нравится.

Ещё мелочь про время. Если машина уходит в сон или отключается по питанию, обычный крон пропущенный запуск просто теряет. Persistent в таймере догоняет его при следующем включении.

Собираю по порядку, чтобы самой не запутаться.

Замок и таймер поставила вчера, статусы переделаю в выходные, там больше всего работы. Три ночи подряд не вставала ни разу, утром хватало семи строк итога.

Отпишитесь через месяц, интересно, что покажет сторож на длинной дистанции.