Сбор данных и отзывов

Источник — «Автошины · Симферополь». Вы задаёте план: какие модели и что собрать. Система проходит очередь прогон за прогоном, пока не соберёт всё, не перечитывает уже собранные страницы, сама подбирает паузу между запросами и возобновляет сбор после обрыва.

План сбора

Область

Только модели из выгрузкиЗагрузка списка выгрузок…

Только модели с действующими предложениями

Что собрать Сведения и отзывы моделей Сначала найдёт страницы моделей, затем прочитает их: характеристики, варианты, отзывы. Только найти страницы моделей

Темп и лимиты

Базовая пауза между запросами, сек. Максимальная пауза, сек. Страниц за один прогон

Пауза растёт при таймаутах и ответах 429/5xx (не меньше, чем просит источник) и возвращается к базовой после серии успешных ответов. Прогоны идут один за другим с перерывом 20 с; после обрыва — повтор через 2, 4, 8… минут.

Передавать отзывы на модерацию после каждого прогона

Новый план заменяет прежний. Уже прочитанные страницы повторно не загружаются — план продолжит с того места, где остановился предыдущий.

Служебные действия

Папка web rec читается без запросов к сайту. На модерацию уходят только отзывы с уверенным совпадением модели магазина.

Состояние

Подключение…

Что собрано и что осталось

История прогонов

Проверка работоспособности

Читает факты из баз и состояния: запускаются ли прогоны, двигается ли очередь, записываются ли отзывы, доходят ли они до модерации. В сеть не ходит. Сквозной тест кода на сохранённых страницах — python tools/audit_collection.py --selftest на сервере.