Свой шаблон проекта под новый прогон

Каждый новый прогон начинал с пустой папки и каждый раз забывал одно и то же: логи льются в корень, доступы оказываются в репозитории, выгрузка перезаписывает вчерашнюю. Сделал себе болванку и раскатываю её через cookiecutter.

progon/
├── nastroyki.toml        общее, лежит в репозитории
├── .env                  доступы, прописан в .gitignore
├── vhod/                 входные списки
├── vyhod/                выгрузки по датам
├── sostoyanie/           курсоры, что уже собрано
├── logi/
├── src/
│   ├── zagruzka.py
│   ├── razbor.py
│   └── vygruzka.py
├── run.sh
└── Makefile

Покажите свои, интересно, чего мне тут не хватает.

Годная болванка. Добавь папку obrazcy под сохранённые ответы, пригодится в день, когда разметка поедет.

И заведи рядом с входным списком строку с его контрольной суммой. Иначе через месяц не вспомнишь, по какому именно списку сделана та выгрузка, и сверять будет нечего.

К nastroyki.toml обязательно шаблон nastroyki.primer.toml со всеми полями и коротким комментарием к каждому. Через полгода сам себе спасибо скажешь.

И .env.primer с пустыми значениями. Тогда новый человек за пять минут понимает, что ему надо раздобыть, чтобы прогон вообще запустился.

Есть, добавил оба примера. Заодно приделал проверку на старте: пробегаю по полям примера и ругаюсь, если в рабочем конфиге поля нет.

а зачем выгрузки по датам? места же жрёт

Данила, по датам ради сверки. Вчерашняя выгрузка рядом со свежей это единственный способ заметить, что сайт перестал отдавать половину карточек, и заметить в тот же день.

Места уходит умеренно, если сразу жать и убирать старое по расписанию:

# в конце прогона
DEN=$(date -u +%F)
tar -C vyhod -czf "arhiv/$DEN.tar.gz" "$DEN" && rm -rf "vyhod/$DEN"
find arhiv -name '*.tar.gz' -mtime +45 -delete

Из своего добавлю про sostoyanie. Курсор обхода надо писать атомарно, иначе однажды поймаешь обрезанный файл после падения и начнёшь обход с середины:

import json, os
def zapisat(put, d):
    tmp = put + ".tmp"
    with open(tmp, "w") as f:
        json.dump(d, f, ensure_ascii=False)
        f.flush()
        os.fsync(f.fileno())
    os.replace(tmp, put)

Без fsync файл после жёсткой перезагрузки бывает пустым, проверено на своей шкуре дважды.

Спрошу про запуск. У вас run.sh и Makefile живут оба сразу, они между собой не спорят?

У меня был Makefile с десятком целей, и пользоваться им кроме меня никто не мог.

Ирина, у меня Makefile держит команды разработки, а боевой запуск сидит в run.sh, одна строка на вход, её же дёргает таймер.

Чего в болванке точно не хватает: отдельного места под список выходных адресов. Класть его в репозиторий нельзя, руками обновлять надоедает уже на третий раз. Держу в .env ссылку на список и тяну свежий перед стартом:

curl -s "$SPISOK_URL" -o vhod/adresa.txt
wc -l < vhod/adresa.txt

Список отдаётся в формате IP:PORT:LOGIN:PASS и обновляется в реальном времени, так что перед каждым прогоном у тебя актуальный. Сам беру приватные серверные адреса под прогоны: ротация внутри пула идёт сама, крутить отдельно нечего.

netmon, забрал curl перед стартом, у меня список тоже отдаётся ссылкой. Раньше клал файл в vhod руками и один раз прогнал по позавчерашнему, разбирался потом полдня.

Ирина, разделение по смыслу мне нравится: Makefile для человека за клавиатурой, run.sh для запуска по расписанию.

спасибо, про .env.primer понял, у нас каждый новичок на этом теряет день

Ещё положите в корень короткий README строк на десять: что запускать, куда смотреть при поломке, кому писать. Дальше десяти строк его никто не читает.

Про Makefile поддержу netmon. У себя свёл к четырём целям: make nastroit, make test, make progon, make arhiv. Больше четырёх целей никто в голове не держит. Эти четыре угадываются с первого раза.

Ещё держу в болванке trebovaniya.txt с прибитыми версиями пакетов. Плавающие версии однажды подсунули мне другую библиотеку разбора посреди рабочей недели, и прогон встал на ровном месте.

Обновил болванку по ветке, спасибо всем. Что доехало: папка obrazcy и контрольная сумма входного списка, примеры конфига и env с проверкой на старте, атомарная запись состояния с fsync, архив выгрузок с удалением старого, список адресов ссылкой, README на десять строк, прибитые версии пакетов.

Makefile оставил на четыре цели, как у Славы. Выложил всё в отдельный репозиторий, новый прогон теперь заводится минут за десять вместо половины дня.