ZennoPoster или свой скрипт: где проходит граница

Спорим об этом с напарником третий месяц. Он собирает всё в ZennoPoster мышкой, я пишу на питоне и смотрю на его кубики с сомнением.

По факту у обоих работает. У него быстрее собирается первый рабочий вариант, у меня легче правится через полгода и дешевле по памяти. Хочется услышать, где граница проходит у тех, кто держал оба подхода на боевых задачах.

Задачи у нас типовые: заполнить форму, забрать выгрузку, разложить по папкам.

Граница проходит по браузеру. Если задача живёт без него, скрипт выигрывает всухую.

Подпишусь под zavarka и разверну, потому что вопрос упирается в память и в живучесть.

Одна вкладка настоящего браузера отъедает от трёхсот мегабайт, и это самое дно замера. Двадцать параллельных вкладок кладут машину с шестнадцатью гигабайтами почти наверняка. Тот же прогон на голых запросах держит триста соединений и отъедает памяти меньше, чем сам браузер в простое.

Дальше про живучесть. Кубики ломаются от смены разметки ровно так же, как селекторы в коде, только чинить их надо мышкой в редакторе, и посмотреть глазами, что именно поменялось, тяжелее. Разница вылезает через полгода, когда автора шаблона рядом нет.

И третье, обидное. Шаблон трудно положить в хранилище и посмотреть, что менялось от версии к версии. Скрипт лежит текстом, разница видна построчно, откат занимает секунду.

А если на странице всё рисуется скриптами и без браузера пусто? У меня половина задач такая.

Ольга Ветрова, откройте вкладку сети в отладчике и посмотрите, откуда страница берёт содержимое. В девяти случаях из десяти там обычный обмен по адресу с json, и запрашивать можно прямо его. Браузер нужен, когда обмен подписан хитрым образом и подпись считается на месте.

Проверил на трёх наших площадках. На двух правда json, причём удобнее того, что мы выковыривали из разметки. Третья считает подпись на месте, там напарник со своими кубиками уместен.

Похоже, граница идёт по месту, где считается подпись. Сам инструмент тут вторичен.

подскажите, а гибрид это как? браузер и скрипт вместе в одном прогоне?

anton_zzz, браузером проходят вход и получают ключ сессии, дальше ключ отдают обычным запросам и тянут уже ими. Один браузер на старте вместо двадцати на весь прогон.

ctx = browser.new_context()
page = ctx.new_page()
page.goto(URL_VHODA)
page.fill("#login", user); page.fill("#pass", secret)
page.click("button[type=submit]"); page.wait_for_load_state("networkidle")
cookies = {c["name"]: c["value"] for c in ctx.cookies()}
browser.close()

s = requests.Session() s.cookies.update(cookies) s.proxies = {"http": PROXY, "https": PROXY} ```

После этого гоняете сессию в двести потоков, и памяти уходит как под текстовый редактор.

Мы так и живём полгода. Отдельно скажу про адреса: когда параллель выросла с двадцати до двухсот, отдача с одного адреса перестала тянуть. Взяли приватные серверные адреса с безлимитным трафиком, выдача списком забирается прямо в скрипт, ротация внутри пула идёт сама.

Под браузерную часть хватает одного соединения, она работает пару минут на старте.

Собрал разговор к столбику, чтобы напарнику показать:

Спор кончился ничьей, разделили задачи по строкам таблицы.

Ушла смотреть вкладку сети. По первой площадке уже вижу json, спасибо.