Планировщик задач: cron, systemd или менеджер очередей

На сервере пять ночных прогонов, все висят в crontab. Работает, пока не начинает.

За последний месяц два раза наложились друг на друга: первый не успел, второй стартовал по расписанию, вдвоём съели память и оба легли. Плюс после перезагрузки утренний прогон просто пропустился, узнал я об этом к обеду.

Думаю переезжать. Что брать: таймеры systemd или сразу менеджер очередей?

Наложение лечится в одну строку, переезжать ради него не нужно:

0 2 * * * /usr/bin/flock -n /tmp/nochnoy.lock /opt/progon/start.sh

Флаг -n означает «занято, значит уходим молча». Хотите, чтобы второй дождался первого, уберите -n.

С пропуском после перезагрузки хуже, cron про пропущенные запуски не помнит вовсе. Вот тут таймер выигрывает:

[Unit]
Description=Ночной сбор

[Timer] OnCalendar=*-*-* 02:00:00 Persistent=true RandomizedDelaySec=900

[Install] WantedBy=timers.target ```

Persistent=true догоняет пропущенный запуск сразу после старта машины. RandomizedDelaySec растаскивает пять прогонов по времени, чтобы они не стартовали в одну секунду. И весь вывод сам ложится в журнал, journalctl -u nochnoy.service показывает прошлые запуски с кодами выхода, никаких перенаправлений в файл руками.

а флок точно работает если скрипт убили по kill -9?

Ради одного этого стоит переехать, утренний пропуск мне и стоил нервов.

Женя Ковалёв, при kill -9 блокировка снимается ядром вместе с процессом, файл остаётся лежать пустой и никому не мешает.

Очередь нужна, когда у задачи появляется своя судьба: повтор через растущую паузу, разбор по частям, догон упавших кусков, несколько машин на одну работу.

Пока это пять ночных запусков на одном сервере, очередь добавит вам хранилище, отдельный процесс исполнителя и новый класс поломок. Признак, что пора: вы начали писать в скрипте таблицу состояний с попытками.

Промежуточный шаг дешевле: таймер запускает мелкий раздатчик, тот кладёт куски в обычный файл и следит за упавшими.

Перевёл все пять на таймеры, разброс по десять минут каждому. Неделя без наложений, вывод читаю журналом.

Очередь отложил, у меня правда пока нет таблицы попыток.