Первый прогон: начните с десяти страниц

Учусь третью неделю, первый свой скрипт дописала в субботу. Взяла список на четыре тысячи адресов каталога и запустила на ночь, чтобы к утру был результат.

Утром в файле шестьсот строк, из них половина пустые, а в логе одна и та же ошибка повторяется больше тысячи раз. Где сломалось, понять не могу: то ли запрос уходит криво, то ли разбор страницы, то ли запись в файл.

Есть какой-то порядок отладки первого запуска? Или все так и сидят до утра?

Порядок простой: берите десять страниц. Именно десять, про четыре тысячи на первом запуске забудьте.

Пока прогон длится минуту, вы успеваете глазами прочитать каждую строку выдачи и сверить её с сайтом. На четырёх тысячах вы видите только итог, и итог вам ничего про причину не скажет.

А десяти хватит, чтобы поймать ошибку? Мне казалось, они вылезают как раз на объёме.

Хватит, потому что ошибки бывают двух пород, и вы их путаете.

Первая порода это ошибки логики: не тот селектор, съехала кодировка, поле лежит в соседнем блоке. Они видны на первой же странице, ловить их на объёме бессмысленно, вы просто размножите одну и ту же беду четыре тысячи раз.

Вторая порода это ошибки объёма: память течёт, соединения не закрываются, сайт начинает отвечать отказами после сотни обращений. До них вы дойдёте, но позже, и лечатся они совсем другими руками.

Сначала выжимаете первую породу на десяти страницах, потом поднимаете список до сотни, потом до тысячи. Между ступенями смотрите лог. Вот так это выглядит у меня:

Третья страница выпала, остальные легли ровно. Открываю её в браузере, смотрю разметку, и почти всегда там мелочь: товар без цены, другой шаблон, акционный блок сверху.

я вообще с трёх начинаю, и то первый раз с одной. потом уже расширяю

Добавлю кусок, который вставляю в каждый новый скрипт на время обкатки. Он сам откладывает первую сломанную страницу на диск, чтобы потом было что открыть.

for url in spisok[:10]:
    html = zapros(url)
    tovary = razbor(html)
    print(url, len(tovary))
    if not tovary:
        open("upala.html", "w", encoding="utf-8").write(html)
        break

После прогона у вас на диске лежит ровно та страница, на которой всё встало. Открываете её локально, правите разбор, гоняете снова. Три круга по минуте вместо одной ночи вслепую.

Настя, когда десять страниц поедут и вы поднимете список хотя бы до тысячи, вылезет отдельная история: домашний канал на объёме начинает ловить отказы, причём вперемешку с нормальными ответами, и вы опять будете думать на свой код.

Я под учебные прогоны беру приватные серверные адреса под парсинг, трафик там безлимитный, а тест до двух часов даёт спокойно посмотреть, как скрипт себя ведёт на длинной дистанции. Главное сначала довести логику на десятке.

Сделала как вы сказали. На десяти страницах поймала сразу два косяка: в двух карточках цена лежит внутри вложенного блока, и у меня падал разбор, а ещё сайт отдаёт часть каталога в другой кодировке.

Оба поправила за час. Поставила сотню, прошло без единой пустой строки. Дальше буду поднимать ступенями.

сохранила себе про откладывание сломанной страницы, спасибо