Очередь задач и повторы: схема с растущей паузой

Собираю карточки пачками, очередь лежит в базе. Задача упала, кладу её обратно в хвост, беру следующую. Пока сайт живой, всё едет.

Ложится сайт на пять минут, и очередь начинает крутиться вхолостую: те же двести адресов вылетают по кругу, забивают все соединения и не дают пройти нормальным задачам.

Хочу паузу, которая растёт после каждого промаха. Вопрос в цифрах. С чего начинать, до какого потолка расти, сколько попыток держать, прежде чем отложить задачу насовсем?

Начинай с секунды, дальше удваивай. Потолок пять минут, попыток шесть. После шестой сайт либо лёг целиком, либо тебя видеть не хочет, и повторы тут уже не помогут.

Удвоение работает, но голое удвоение даёт эффект стада: все упавшие задачи просыпаются одной секундой и бьют по сайту разом. Поэтому к паузе добавляют разброс.

import random, time

def pauza(popytka, baza=1.0, potolok=300): t = min(baza * 2 ** popytka, potolok) return t * random.uniform(0.7, 1.3)

# popytka=0 -> ~1 c, 1 -> ~2 c, 2 -> ~4 c ... 8 -> потолок ```

Множитель от 0.7 до 1.3 размазывает пробуждения, и очередь перестаёт дышать толчками.

Вот тут и вопрос: как отличить «лёг целиком» от «эта одна карточка битая»? У меня в очереди и то и другое лежит вперемешку.

По коду ответа и по соседям. Пятисотые и таймауты это сайт, четыреста четвёртый это карточка. И считай долю падений за последнюю минуту по всей очереди: если она за половину перевалила, дело не в задачах.

а куда девать задачу после шестой попытки? удалять жалко

Не удалять. Заводи вторую очередь, отложенную, и клади туда всё, что исчерпало попытки, вместе с последним кодом ответа и временем.

У меня отложенная разгребается отдельным прогоном раз в сутки, обычно под утро, когда основной поток уже отработал. Три четверти таких задач проходят с первого раза: сайт к тому моменту починился, разметка вернулась, лимит частоты сбросился. Остаток, который не прошёл и в отложенном прогоне, попадает в список на глаза, и вот его я смотрю руками. Обычно там пять или шесть штук на всю ночь, и разбор занимает десять минут.

Важная мелочь: в отложенную очередь пишите не только адрес, но и весь контекст, с которым задача падала. Иначе через сутки вы смотрите на строку с адресом и понятия не имеете, что там было.

Плюсую про контекст. Я в задачу пишу три поля: сколько было попыток, код последнего ответа, отметка времени следующего запуска. Тогда выборка из очереди становится обычным запросом.

SELECT * FROM ochered
WHERE sleduyushchiy_zapusk <= NOW()
ORDER BY prioritet DESC, sleduyushchiy_zapusk
LIMIT 200;

Задача, у которой время ещё не пришло, просто не попадает в выборку, и никакого холостого вращения нет.

Понял свою ошибку: у меня не было поля со временем следующего запуска, я просто перекладывал в хвост. Отсюда и карусель.

Переписал выборку по образцу Дарьи, добавил разброс по совету Артёма.

Разброс обязателен, иначе потолок вас догонит на любом объёме.

Сутки отработало. Холостых заходов ноль, отложенных за ночь семнадцать штук, из них утром прошло четырнадцать. Три карточки правда битые, их со стороны сайта уже нет.

Спасибо, схема встала.