Подсеть и соседи: почему это вообще важно

Выгрузил рабочий список на сорок адресов и от нечего делать отсортировал его по числам. Половина строк идёт подряд: .14, .15, .17, .21, дальше прыжок совсем в другую сторону.

Полез смотреть после того, как один магазин начал отвечать одинаково сразу на пачку адресов, будто видит их как один. По какому признаку они друг другу соседи и почему площадка их объединяет?

Соседи это адреса, у которых совпадают первые три числа. Такой кусок принято записывать как /24, внутри него 256 адресов, и снаружи он почти всегда принадлежит одному хозяйству.

Прогони выгрузку через группировку, картина появится за секунду:

cut -d: -f1 spisok.txt | awk -F. '{print $1"."$2"."$3".0/24"}' | sort | uniq -c | sort -rn

Первое число в каждой строке вывода скажет, сколько адресов сидит в одном куске.

Сорок адресов легли в три блока, причём в первом сразу двадцать шесть штук.

Вот и объяснение поведения магазина. Счётчики обращений на многих площадках ведутся по блоку целиком, они складывают всё, что пришло из одного /24. Двадцать шесть адресов в одном куске такой счётчик видит как двадцать шесть заходов с одного места.

Отсюда простая привычка при работе со списком: чем шире он размазан по блокам, тем позже срабатывает порог. Тридцать адресов из десяти разных кусков идут спокойнее, чем те же тридцать из одного.

а если в выгрузке просто ip:port, маски нигде нет, как тогда узнать блок

Маску в выгрузке никто и не пишет, там она лишняя. Для разбора хватает первых трёх чисел: совпали, значит соседи по /24, разошлись, значит куски разные.

Дальше вопрос уже к тому, откуда берётся список. Когда адреса выдаются из общего пула, а он тут около двенадцати тысяч штук с ротацией внутри, набор блоков в выдаче получается широкий сам собой. Я под длинные прогоны беру приватные серверные адреса под сбор и перед стартом всегда пропускаю выгрузку через ту же группировку, что показал grepwalker. Смотрю на две вещи: сколько всего блоков и нет ли перекоса, когда в одном сидит половина списка.

Перекос лечится обновлением выдачи, ссылка отдаёт актуальный набор в реальном времени. Полминуты работы, зато на прогоне потом ровно.

Второе важнее. У меня была выгрузка на восемь блоков, но в одном из них лежала треть списка, и порог поймал ровно эту треть.

Раз тема живая, покажу картинкой, как выглядит ровная выгрузка.

Сорок один адрес, пять кусков, самый жирный на одиннадцать штук.

Обновил выдачу, прогнал группировку: одиннадцать блоков против прежних трёх, самый плотный на семь адресов. Запустил тот же магазин, до конца прогона ни одного отказа, хотя раньше он спотыкался на второй сотне страниц.

Спасибо, теперь хотя бы понятно, на что смотреть в списке перед стартом.