Сбор данных

Прайсы, каталоги, выдача, разбор разметки, устойчивость прогона.

Темы раздела, 15

Когда у сайта есть открытый обмен данными и разбор не нужен

начал tabless

8ответов
2380 просмотров

8 октября, 11:33tabless

Дубликаты в каталоге: как ловить при сборе

начал grepwalker

11ответов
6810 просмотров

8 февраля, 11:49grepwalker

Хранить сырые ответы или только разобранное

начал dobrynin_a

12ответов
5240 просмотров

22 августа, 17:31dobrynin_a

Картинки товаров: качать или ссылаться

начал Ирина Пахомова

6ответов
940 просмотров

15 марта, 14:14Ирина Пахомова

Кодировки: откуда берутся кракозябры в выгрузке

начал Борис Лапин

6ответов
2860 просмотров

22 апреля, 17:39Борис Лапин

Медленные сайты в общем прогоне тормозят всё

начал batchrunner

6ответов
1460 просмотров

1 мая, 08:04batchrunner

Наблюдение за прогоном: что выводить на экран

начал Денис Прошин

5ответов
1470 просмотров

1 января, 08:12sysdiag

Ночной прогон: расписание и окно

начал cronjob

7ответов
1180 просмотров

22 декабря, 17:11cronjob

Очередь задач и повторы: схема с растущей паузой

начал queue_master

10ответов
3120 просмотров

22 апреля, 17:27queue_master

Остановка прогона по порогу ошибок

начал nullbyte

8ответов
3910 просмотров

15 июля, 14:18nullbyte

Остатки: как сверять выгрузки между прогонами

начал Оксана В.

4ответов
980 просмотров

22 декабря, 17:35Оксана В.

Постраничная навигация: обход без потерь

начал ostrov

10ответов
5240 просмотров

15 июля, 14:42dobrynin_a

Ежедневный сбор прайса поставщика: как построил прогон

начал Влад Терентьев

12ответов
6740 просмотров

8 июня, 11:41Влад Терентьев

Разметка на сайте поменялась, разбор посыпался

начал scrapy_boy

7ответов
3025 просмотров

8 июня, 11:41scrapy_boy

Страница рисуется скриптом, в ответе пусто

начал proxy_hands

8ответов
4050 просмотров

22 декабря, 17:23proxy_hands