Двойные записи в выгрузке: ищем источник

Ночной прогон по каталогу, на выходе csv. Заказчик считает строки и присылает мне список: двадцать две тысячи записей, из них шестьсот сорок повторяются по артикулу.

Прогон идёт в тридцать потоков, каждый пишет в общий файл через блокировку. Задачи разбираются из очереди, одна задача это одна страница списка.

Пока непонятно даже, задваивается страница целиком или отдельные карточки. Как подступиться?

Сперва разделите повторы на два вида, дальше искать станет вдвое легче.

# одинаковые по ключу
cut -d';' -f1 vygruzka.csv | sort | uniq -d | wc -l
# одинаковые целиком, вся строка
sort vygruzka.csv | uniq -d | wc -l

Если оба числа сошлись, у вас дважды записана одна и та же карточка. Если ключей больше, чем полных повторов, карточку читали в разное время и поля успели разойтись.

Про повторную запись подкину частый источник. Запрос уходит, сайт отвечает медленно, у клиента срабатывает таймаут, задача уходит на второй заход. Первый ответ при этом доезжает и его успевают записать. Итог: две копии, отличаются на доли секунды.

Лечится тем, что запись идёт по ключу. Держите артикулы в множестве и сверяйтесь с ним перед каждой строкой.

А я бы сначала посмотрела на номера страниц. У нас ровно такая история тянулась месяца три, и виноват был сам каталог.

Мы ходили по страницам списка обычным способом, двадцать четвёртая, двадцать пятая, двадцать шестая. Сортировка на сайте стояла по новизне, товар в базе шевелился прямо во время прогона. Пока мы читали двадцать четвёртую, пара карточек уехала вниз и попала на двадцать пятую. Она к нам приезжает второй раз, а кто-то другой в это время проваливается в щель и теряется совсем.

Проверяется просто: добавьте в выгрузку колонку с номером страницы и посмотрите, на каких номерах сидят повторы. Если они лепятся к границам страниц, дело именно в перетасовке.

Чинится сменой порядка обхода: сортировка по такому полю, которое не шевелится, либо ход по идентификаторам вместо номеров страниц. Мы ушли на сортировку по артикулу, и повторы закончились в ту же ночь.

а два запуска по расписанию не могли наложиться? у меня раз так было

Проверила всё по кругу, докладываю.

Колонку добавила, и картинка совпала с вашей почти один в один: львиная доля повторов сидит на стыках страниц, сортировка на сайте стояла по дате поступления. Перевела обход на сортировку по артикулу, следующей ночью повторов по этой причине ноль.

Замечание loginless тоже пригодилось. Прогон длится дольше, чем я думала, и утренний запуск действительно накладывался на хвост ночного. Повесила на скрипт flock, второй запуск теперь тихо уходит, пока работает первый.

Осталась горстка повторов от таймаутов, их сняла проверкой артикула перед записью, как советовал byteflow. Двадцать две тысячи строк, повторов ноль. Спасибо, тема закрыта.