Сбор документов из открытых источников и превращение их в структурированные данные — задача, которую вручную не закрыть.
Монорепозиторий из десятка утилит и админки: обход адресов, выкачивание файлов, дедупликация по хешу, объектное хранилище, пакетное распознавание языковой моделью и рассылка результатов. Всё это движет очередь заданий с расписанием.
Полный разбор кейса ещё пишется — пока это короткая версия. Детали расскажу лично.