Что такое потоки, если объяснять просто

Второй месяц читаю форум и везде вижу: поставь двадцать потоков, у меня тысяча потоков в пакете, не гони в потолок. Киваю и делаю вид, что понял.

Объясните на пальцах: поток это что? Отдельная программа? Соединение? Окно браузера? И почему их нельзя поставить побольше, если хочется быстрее.

Поток тут это одна занятая линия. Представь кассу в супермаркете. Одна касса обслуживает покупателей по очереди: пока первый не расплатился, второй ждёт. Открыл десять касс, десять человек проходят одновременно. Поток это касса.

В программе то же самое. Один поток берёт адрес из списка, отправляет запрос, ждёт ответа, записывает результат, берёт следующий адрес. Пока он ждёт ответа, он больше ничего не делает. Десять потоков делают эту работу параллельно, каждый со своей страницей.

Отсюда и вторая половина ответа. Кассы упираются в то, сколько людей помещается в зале. Потоки упираются в то, сколько запросов готов принять сайт на том конце. Поставишь сто там, где сайт спокойно держит двадцать, и получишь отказы вместо скорости.

Вот теперь дошло. То есть тысяча потоков в пакете это совсем не то, что мне надо включать?

Именно. Тысяча это потолок, выше которого тебя не пустят по условиям пакета. Рабочее число подбирается под задачу и под сайт, оно почти всегда в десятках.

Прикидка простая: сколько страниц надо собрать, за сколько часов надо уложиться, какой средний отклик у сайта. Три числа, дальше арифметика на салфетке.

Добавлю банальность: память тоже конечная. Каждый поток держит свой буфер, на тысяче браузерных вкладок машина ляжет раньше сайта.

Женя, посчитай на своём примере. Двадцать тысяч страниц, ночное окно на десять часов, это примерно 0.55 запроса в секунду. При отклике полторы секунды хватает одного потока с запасом.

Когда дорастёшь до объёмов, где потоки правда упираются в потолок пакета, посмотришь в сторону пакетов с запасом по соединениям, вроде приватных адресов под сбор данных. Но это задача явно не первого месяца.

тоже когда-то думал что потоки это ускоритель, оказалось это просто ширина трубы

Ещё одна вещь, которую новички пропускают. Потоки и паузы работают в паре. Десять потоков без пауз бьют по сайту ровным пулемётным темпом, и это видно с той стороны сразу. Те же десять потоков с разбросом паузы выглядят как обычные посетители.

Отчитаюсь. Поставил три потока, паузу от 400 до 900 миллисекунд, за ночь прошло всё до конца, ошибок ноль. До этого хотел ставить двести и обижался, что меня отговаривают.

Спасибо, картинка сложилась.