Key Collector: пауза с разбросом против ровного темпа

Собираю частотности по семантике на восемнадцать тысяч фраз. В настройках стоит пауза ровно пять секунд, потоков десять.

Первые часа полтора идёт гладко, дальше сбор начинает спотыкаться: часть фраз возвращается пустыми, приходится догонять их вторым проходом. К утру таких набегает под тысячу.

Коллега говорит, что ровная пауза сама по себе примета и надо ставить диапазон. Звучит как суеверие. У кого есть замеры?

Не суеверие. Ровный интервал виден по гистограмме времени между обращениями: у живого человека размазано, у сбора одна свеча в пять секунд.

А есть чем такую гистограмму посмотреть у себя? Хочу глазами убедиться, прежде чем перекраивать настройки.

Возьмите свой же журнал сбора, там время каждого обращения. Дальше две строчки на awk:

awk '{ if (p) print $1 - p; p = $1 }' vremena.txt \
  | awk '{ printf "%.1f\n", $1 }' | sort -n | uniq -c | sort -k2 -n

На ровной паузе вы увидите одну огромную строку около пятёрки и хвостик из мусора. На диапазоне 3-9 картина растягивается по всей ширине, и это как раз то, что нужно.

У меня после перехода на диапазон пустые ответы просели с семи процентов до полутора. Число потоков я при этом даже поднял, с восьми до двенадцати, время сбора вышло короче прежнего.

подскажите, а диапазон в килекторе где ставится? я нашла только одно поле паузы

veta_l, поля два, минимум и максимум, они рядом в настройках сбора для конкретного источника. Если второе пустое, программа держит ровный темп по первому.

Добавлю про то, чего не видно с первого взгляда. Разброс паузы помогает, пока он неровный внутри самого прогона. Люди ставят 4-6 и считают, что дело сделано, а по гистограмме там всё та же узкая свеча, просто чуть шире.

Рабочая ширина начинается примерно от тройного отношения между краями: 3 и 9, 2 и 7. Плюс редкие длинные остановки, секунд по сорок, раз в две-три сотни обращений. Человек отходит за чаем, и это нормальный след.

Второе, про что забывают: одинаковый порядок фраз при каждом повторе. Вы гоняете список сверху вниз, программа честно идёт по алфавиту, и вторая попытка повторяет первую до буквы. Перемешайте вход перед стартом, стоит это одну команду, а картина обращений меняется сильно.

Третье: десять потоков с паузой пять секунд дают два обращения в секунду, и никакая ширина диапазона такой темп не спрячет, если источник считает по минуте. Сначала посчитайте желаемую скорость, потом уже красьте её разбросом.

Вот этого я и не делала. Посчитала: восемнадцать тысяч фраз за ночь, восемь часов, выходит 0.63 обращения в секунду. У меня было два.

ого, то есть можно втрое медленнее и всё равно успеть

Именно. И медленный ровный проход почти всегда обгоняет быстрый рваный, потому что во втором половина времени уходит на догон пустых.

Третья строка у меня и стоит. Ночью время есть, догонять по утрам надоело сильнее, чем ждать.

Отчиталась: поставила 4-11, потоков шесть, вход перемешала. Прогон занял семь часов десять минут, пустых сорок штук на восемнадцать тысяч.

Спасибо, гистограмму себе в заметки утащила отдельно.