Ежедневный сбор прайса поставщика: как построил прогон

Держу выгрузку по одному поставщику, обновление раз в сутки. Каталог около сорока тысяч позиций, отдаётся кусками по страницам, выгрузки файлом у них нет.

Как оно устроено сейчас:

• таймер будит скрипт в шесть утра;
• обход идёт по разделам, внутри раздела постранично;
• сырьё складывается в отдельную папку по дню;
• разбор идёт отдельным шагом, из сырья;
• готовая таблица уезжает в базу магазина.

Месяц работает, но пару раз ловил веселье: то поставщик отдал половину каталога, то разбор проглотил пустые поля и база уехала с пробелами. Хочу услышать, где у вас стоят предохранители.

Первым делом поставьте замок на запуск, если ещё нет.

flock -n /var/lock/prays.lock /srv/progon/sbor.sh || exit 0

Прогон на сорок тысяч позиций рано или поздно затянется дольше суток, таймер разбудит второй экземпляр, и они начнут топтать друг другу папку с сырьём. Ловится это потом отвратительно.

а сырьё долго держите? у меня место кончилось на второй неделе

Замок поставил в тот же вечер, спасибо. Один раз у меня прогон шёл двадцать девять часов, обошлось чудом.

Полина, держу две недели, дальше складываю в архив и раз в месяц выношу. Сырьё сжимается раз в двадцать, места ест немного.

Предохранитель номер один: сверка объёма с прошлым разом до заливки в базу.

Считаете число строк и число заполненных полей цены и наличия. Расхождение больше десяти процентов означает стоп и письмо себе на почту. Каталог у поставщика живёт медленно, за сутки он на треть не худеет. Если похудел, значит вы поймали обрыв на середине обхода и в базу такое лить нельзя.

Заливку делайте в промежуточную таблицу, а переключение на боевую отдельным шагом. Тогда неудачный прогон просто остаётся в стороне.

И добавьте повторы с растущей паузой на уровне страницы. У поставщиков к утру часто идёт своя выгрузка на их стороне, сайт минут на десять начинает отдавать отказы. Скрипт без повторов пропускает целый раздел и отчитывается об успехе.

Схема простая: три попытки, паузы полминуты, две минуты, восемь минут. Не помогло, страница уходит в отложенный список и добирается в конце прогона.

Раз пошёл разговор про предохранители, разложу, как это выглядит у меня после нескольких лет ежедневных прогонов.

Сырьё и разбор разнесены жёстко, ровно как у вас. Смысл разноса в том, что при любой поломке разбора вы перезапускаете только разбор, по уже лежащему сырью, без единого обращения к поставщику. У меня разбор менялся десятки раз, и ни разу это не стоило лишнего обхода.

Каждый прогон пишет строчку в журнал: дата, длительность, страниц забрано, страниц с ошибкой, позиций разобрано, доля заполнения по каждому важному полю. Эта таблица важнее любых уведомлений. Поломки редко приходят обвалом, чаще поле начинает пустеть: было девяносто восемь процентов заполнения, стало восемьдесят, через неделю сорок. По одному дню такое не видно совсем.

Дальше сравнение с предыдущим днём по каждой позиции, по ключу поставщика. Получаете три списка: появилось, пропало, изменилось. Пропало больше обычного, значит смотреть надо на обход. Изменилось больше обычного, значит поставщик перетряхнул каталог либо у вас разъехался разбор.

Отдельно храню последнюю удачную выгрузку под именем latest. Если сегодняшний прогон не прошёл проверки, магазин работает на вчерашней, и никто ничего не замечает. Полностью пустая витрина стоит дороже суточной задержки данных.

Табличку забрал целиком. Промежуточную таблицу и запасную выгрузку сделаю на этой неделе, до сих пор лил прямо в боевую и один раз уже словил за это.

Ещё сторона вопроса, про которую в теме пока не сказали: с какого адреса вы к поставщику ходите каждое утро.

Сорок тысяч страниц с одного домашнего адреса поставщик рано или поздно заметит и начнёт подсовывать выдачу попроще либо просто закроется. Я под ежедневные обходы держу отдельный пакет и беру приватные серверные адреса под регулярный обход, трафик там безлимитный, так что вес каталога роли не играет. Список забираю ссылкой при старте прогона, ротация внутри пула идёт сама.

Темп при этом всё равно ставлю спокойный, соединений двадцать с паузой. Задача тихо забрать каталог до открытия магазина. Выжимать поставщика за час смысла никакого.

поняла про темп, у меня стояло сто потоков и обходы падали через раз

Полина, сто соединений по одному поставщику это перебор почти всегда. Считайте от времени: если у вас окно в четыре часа и сорок тысяч страниц, вам нужно меньше трёх страниц в секунду. При отклике в секунду хватает трёх десятков соединений.

Подпишусь. И храните сырьё сжатым сразу, gzip на лету стоит копейки по процессору.

Отчитываюсь через неделю. Поставил замок, повторы с растущей паузой, промежуточную таблицу с переключением, журнал по прогонам и запасную выгрузку.

За семь дней предохранители сработали дважды. Один раз поставщик отдавал отказы сорок минут, добор вытянул всё в конце прогона. Второй раз разбор посыпался на новом разделе, заполнение цены упало до семидесяти процентов, заливка встала, магазин отработал день на вчерашней выгрузке. Раньше оба случая доехали бы до витрины.