Повторы с растущей паузой: короткая реализация

Часто спрашивают в личку, поэтому выкладываю кусок, который таскаю из прогона в прогон. Никаких пакетов, только стандартная библиотека.

import random, time, functools

def povtory(popytok=5, baza=0.5, potolok=60, lovim=(OSError,)): def obertka(fn): @functools.wraps(fn) def vnutri(*a, **kw): for n in range(popytok): try: return fn(*a, **kw) except lovim: if n == popytok - 1: raise pauza = min(baza * 2 ** n, potolok) time.sleep(random.uniform(0, pauza)) return vnutri return obertka

@povtory(popytok=6, lovim=(OSError, TimeoutError)) def skachat(url): ... ```

Три вещи тут важнее самой формулы.

Спим случайное время от нуля до расчётной паузы. Полный разброс размазывает пробуждения куда лучше, чем добавка плюс-минус десять процентов вокруг ровного значения.

Последняя попытка не спит, она сразу пробрасывает ошибку наверх. Иначе прогон честно отдыхает минуту перед тем, как всё равно упасть.

Ловим только перечисленное. Ошибку разбора повторять бессмысленно, разметка сама себя за пять секунд не починит.

а по кодам ответа как понять, что вообще стоит повторять?

Повторяют 429, 408 и всё пятисотое, кроме 501. Таймаут и обрыв соединения туда же. Остальные четырёхсотые повторять незачем: запрос собран криво, со второго раза выйдет ровно то же самое.

Отдельно про 429. Там часто приходит заголовок Retry-After с числом секунд. Если он есть, ваша формула отдыхает, ждать надо ровно столько, сколько попросили, иначе вы удлиняете себе бан на пустом месте.

Подтверждаю на живом прогоне. Пока стояла ровная пауза, все упавшие задачи просыпались одной секундой, сайт получал залп и ронял их снова. Полный разброс убрал вторую волну в тот же вечер.

Ещё наблюдение сбоку. Когда повторов стало подозрительно много и почти все с кодом 429, дело оказалось в частоте с одного адреса. Перевёл прогон на пул приватных серверных адресов, ротация внутри пула идёт сама, и счётчик повторов упал до единиц за ночь. Формула осталась та же, поводов для неё стало заметно меньше.

Про Retry-After верно, дописал в кусок: заголовок пришёл, беру его и пропускаю формулу мимо.

nastroyka_pro, спасибо, этот случай я забыл напрочь.