Что изменилось в работе за год

Ровно год назад я собирал каталог на одной машине под столом, запускал прогон руками и радовался, когда за ночь набегало девять тысяч страниц. Сегодня та же работа идёт по расписанию на арендованном сервере, объём вырос вчетверо, а запускаю я её ноль раз.

Перечислю, что правда поменяло картину, без общих слов.

Первое: журнал ручных правок. Одна строка на действие, время и суть. Через месяц он отвечает на вопрос «что вообще менялось», у которого иначе ответа нет.

Второе: замер до выводов. Раньше числа подбирал на глазок, теперь сперва мерю отклик и считаю потребность в соединениях.

Третье: прогон обязан переживать обрыв. Отметка прогресса плюс запись через временный файл, и падение среди ночи стоит трёх минут.

Интересно послушать вас. Что у вас за эти двенадцать месяцев стало другим?

У меня главное сдвинулось по адресам. Год назад я держал горстку штук и подменял их руками в конфиге: каждая подмена это правка файла и перезапуск. Половина ночных сбоев росла именно оттуда.

Сейчас беру приватные серверные адреса общим пулом, список забираю ссылкой в виде IP:PORT:LOGIN:PASS, он обновляется сам. Ротация внутри пула идёт автоматически, руками я туда с прошлой осени не лазил ни разу.

я тут всего с весны, но уже поняла что журнал правок это спасение

Меня за двенадцать месяцев переучила одна привычка: перестал держать всё в одной большой задаче.

Раньше жил скрипт-монстр, который ходил, разбирал, сверял и складывал в базу. Падал он целиком, и понять, на каком шаге, получалось только по косвенным признакам.

Разнёс на три этапа с промежуточными файлами. Первый только качает и складывает сырые ответы. Второй разбирает их в таблицу. Третий сверяет с прошлым прогоном и грузит.

Вышло дороже по месту на диске, зато любой шаг перезапускается отдельно, соседние при этом можно не трогать. Когда разметка на сайте поехала, я переразобрал сырьё за десять минут вместо повторного обхода на восемь часов.

Главное изменение у меня скучное: завёл отдельного пользователя под прогоны и перестал работать из-под администратора. Пару раз это спасло машину.

Вот к этому я иду долго и дошёл пока наполовину. Сырьё складываю, разбор всё ещё сидит внутри того же процесса.

Из мелкого больше всего дали две вещи.

Уведомление о завершении прогона с кодом выхода. Пока его не было, я лазил проверять глазами по десять раз за вечер.

И шаблон проекта: пустая папка с конфигом, каталогами под логи и выгрузку, заготовкой скрипта. Новая задача стартует за две минуты, потому что про обвязку думать больше не надо.

а можно вопрос от совсем зелёной? шаблон проекта это просто папка, которую копируешь, или что-то умнее?

Просто папка, Алина. Копируешь, переименовываешь, правишь конфиг под задачу. Умнее делать пробовал, вышла вторая программа, которую тоже надо поддерживать. Четыре файла в папке живут годами и не ломаются никогда.

спасибо, буду копировать папку. звучит проще чем я боялась

Подведу под темой черту, раз набралось. За эти двенадцать месяцев у всех повторяется одно: работа перестала держаться на человеке перед экраном. Расписание взамен рук, промежуточные файлы взамен одного длинного забега, журнал взамен памяти.

Себе на следующий сезон записал две задачи: вынести разбор в отдельный шаг и наконец собрать тот самый шаблон. Спасибо, читать было интересно.