Постраничная навигация: обход без потерь

Обхожу каталог поставщика постранично: 640 страниц по 48 карточек, прогон идёт часа полтора.

Сверил две ночи подряд и схватился за голову. Полторы сотни карточек попали в выгрузку дважды, при этом штук восемьдесят вчерашних сегодня пропали, хотя на сайте они спокойно лежат.

Каталог живой, товары добавляют в течение дня. Похоже, дело в этом. Как правильно обходить такое?

Дело ровно в этом. Пока вы идёте с сороковой страницы на сорок первую, сверху вставляют десяток товаров, лента съезжает вниз, и часть карточек с сорок первой уезжает обратно на сороковую. Вы её уже прошли, вот вам дубли. С хвостом истории зеркальные: карточки перепрыгивают через границу вперёд и не попадают в выгрузку вообще.

Первое, что надо сделать: сменить сортировку на неизменное поле по возрастанию. Дата добавления от старых к новым, идентификатор по возрастанию, что найдётся. Тогда свежие товары приезжают в хвост и на пройденные страницы уже не влияют.

а если в фильтрах только «популярные» и «сначала новые»? у меня выбора нет

Смотрите на адрес страницы, там рычагов обычно больше, чем в видимом меню. Пара sort=id&order=asc работает даже на сайтах, где такого пункта нигде нет.

Если правда нет, режьте каталог на куски. По разделам, по производителям, по первой букве названия. Каждая ветка становится короткой, обход по ней занимает минуты, и сдвиг за это время набежать не успевает.

Подобрал, sort=created&order=asc сайт понимает, хотя в меню такого пункта нет. Дубли упали с полутора сотен до девяти.

Девять всё равно откуда-то берутся.

Девять и останутся, пока вы опираетесь на номер страницы. Ключ надо брать у карточки: идентификатор из ссылки, артикул, любое устойчивое поле. Складываете ключи прогона в множество, дубль отсекается на входе, и вопрос закрывается сам.

Дальше про пропуски, они опаснее дублей, потому что молчат. Ловятся сверкой двух множеств: ключи вчера и ключи сегодня. Разница в обе стороны сразу показывает, что ушло и что пришло. Если ушедших внезапно сотня, значит прогон оборвался или сайт подсунул повтор.

И третье, про потолок глубины. Многие каталоги отдают ограниченное число страниц, дальше начинают крутить одно и то же. Проверяется за минуту: просите страницу 300, потом 301, сравниваете первый ключ на каждой. Совпал, значит вы упёрлись в потолок и весь хвост каталога вам просто не показывают. Тогда резать на куски придётся в любом случае, сортировка тут уже бессильна.

Ещё одна причина повторов на глубине, раз тема про потери. Когда обход идёт быстро и подряд с одного адреса, часть каталогов на четвёртой сотне страниц начинает отдавать закешированную первую страницу вместо запрошенной. Снаружи это выглядит как дубли, хотя разбор тут ни при чём.

Длинные обходы я гоняю через приватные адреса под задачи парсинга, ротация внутри пула идёт сама, и подмена первой страницы у меня пропала. Заодно ушли пустые ответы ближе к концу списка.

а множество ключей на 30 тысяч карточек в памяти не тяжело? у меня машина слабая

Тридцать тысяч строк по двадцать символов это меньше мегабайта. Тяжело станет ближе к десяткам миллионов, там уже берут файл с сортировкой или базу.

Собрал всё вместе и прогнал ночью. Сортировка по дате добавления, дедуп по идентификатору из ссылки, каталог порезан по разделам, самый жирный раздел ещё и по производителям.

Дублей ноль. По сверке со вчерашним пропало три карточки, все три правда сняты с продажи.

Спасибо, разобрались.

Сверку между прогонами оставьте себе навсегда. Она первой скажет, что на сайте поменяли разметку.