Страница рисуется скриптом, в ответе пусто

Открываю карточку в браузере, вижу цену, остаток, характеристики. Тяну ту же страницу запросом, в теле почти ничего: шапка, подвал, пустой контейнер под товар и пачка скриптов.

Понятно, что содержимое дорисовывается скриптом. Вопрос в том, обязательно ли тащить сюда браузер. Он тяжёлый, на прогон в сто тысяч карточек мне такое не поднять.

Браузер тут крайняя мера. Сначала смотрите, откуда страница берёт данные: почти всегда это отдельный запрос, и его можно повторить напрямую.

Откройте вкладку сети, обновите карточку, отсортируйте по типу и найдите ответ с товаром внутри. Дальше правый клик, скопировать как cURL, и у вас готовая рабочая команда со всеми заголовками.

Скопировал, работает. Но там в параметрах длинная строка, похожая на подпись, и она у каждой карточки своя. Откуда её брать при обходе, я же не открываю страницу браузером.

Значит она лежит в самой странице, других вариантов немного. Обычно её кладут в один из трёх мест: в атрибут контейнера, в переменную внутри инлайнового скрипта, в мета-тег.

Порядок такой: тянете страницу обычным запросом, вытаскиваете подпись регуляркой, следом идёте за данными. Два запроса вместо одного, зато без браузера.

import re, requests

s = requests.Session() html = s.get(f"https://shop.example/tovar/{art}").text podpis = re.search(r'"signature"\s*:\s*"([a-f0-9]{32})"', html).group(1) tovar = s.get("https://shop.example/api/tovar", params={"art": art, "signature": podpis}, headers={"Referer": f"https://shop.example/tovar/{art}"}).json() print(tovar["price"], tovar["stock"]) ```

а если подписи в html нет и её считает скрипт на лету?

Бывает и так. Тогда открываете тот скрипт и смотрите, из чего она считается. В девяти случаях из десяти внутри что-то простое: время, артикул и постоянная строка, всё это прогоняется через известный хеш. Такое переносится в свой код за полчаса.

Десятый случай это когда подпись собирается тяжело и меняется каждую неделю. Вот там браузер оправдан, но не на всём прогоне. Схема такая: браузер поднимается раз в час, открывает одну страницу, отдаёт подпись или набор ключей, дальше сто тысяч карточек собираются обычными запросами с этой подписью. Один браузер на весь прогон вместо ста тысяч.

И проверьте заодно вот что: часто у сайта есть облегчённая версия для поисковых систем, где всё нарисовано на сервере. Иногда это отдельный поддомен, иногда та же страница по другому пути. Тогда весь вопрос со скриптами отпадает целиком.

подскажите новичку, а как в сети найти нужный запрос, если их там полсотни?

Фильтр по типу Fetch и XHR, дальше поиск по вкладке сети: вбиваете кусок цены или артикул прямо в строку поиска, браузер покажет, в каком ответе это встречается. Секунд десять.

Разобрался. Подпись оказалась в инлайновом скрипте, считается от артикула и метки времени, обычный хеш, перенёс к себе за вечер.

Сто тысяч карточек собрались за два с небольшим часа обычными запросами, браузер не понадобился совсем. Поиск по значению во вкладке сети отдельное спасибо, я про него не знал.