Потоковый парсинг ТЖ 1С, фильтрация, агрегации и экспорт результатов в Excel.

Версия движка: 1.0.0 (см. main.py)

• Кратко
• Архитектура
• Установка
• Быстрый старт
• Конфигурация config.json
  • Обязательные ключи
  • Справочник фильтров
  • Справочник агрегаций
• Как это работает
• Запуск через информационную базу "RDV-LogA: Анализ технологического журнала"
• Производительность
• Логирование
• Ограничения и ожидания по данным
• Лицензия

Основное назначение — выполнить анализ событий технологического журнала за длительный период времени (от 1 дня до нескольких месяцев). Инструмент анализа технологического журнала позволяет сгруппировать события по свойствам события (Context, processName, SessionID и т.д.) и вывести различную агрегацию по значениям ключей. Например, вывести общую длительность в разрезе контекста выполнения кода или топ пользователей, потребляющих наибольшее количество памяти, самые длительные запросы, самые длительные серверные вызовы, отчет по взаимоблокировкам и таймаутам на ожиданиях блокировок. Это помогает выявить узкие места в системе, построить отчеты по технологическому журналу, приоритизировать операции и приступить к оптимизации производительности системы.

Особенности:

• Рассчитан на большое количество файлов и большой объём каждого файла (10–50 ГБ на файл).
• Может работать и с небольшими технологическими журналами.
• Построчно читает файлы технологического журнала 1С, извлекает события заданного типа, применяет фильтры и агрегации.
• Итог сохраняется в Excel (.xlsx).
• Использует библиотеку polars для высокопроизводительной обработки и умеет работать в несколько потоков.

├── main.py                 # Точка входа: загрузка конфигурации, настройка логов, запуск пайплайна
├── config.py               # Загрузка и валидация config.json
├── logger.py               # Настройка корневого логгера (файл + консоль)
├── data_processing.py      # Конвейер: чтение → parquet-чанки при чтении файлов → lazy concat (объединение parquet в большой dataframe) → агрегации → Excel
├── file_processing.py      # Построчный разбор логов, детектор событий, извлечение ключей и значений из события
├── filters.py              # Реализация фильтров (eq, gt, regex, filled/empty и т.п.)
├── aggregation_registry.py # Реестр агрегаций (sum, min, max, mean, median, p95, stddev, percent, intervals)
└── config.json             # Конфигурация запуска (создается из 1С, но можно и вручную)

Ключевые моменты:

• Потоковая обработка: большие логи разбиваются на чанки и временно сохраняются как Parquet для бережного потребления оперативной памяти
• Ленивые операции Polars: объединение чанков и финальные расчеты выполняются лениво и оптимально, опять же для бережного потребления памяти.
• Параллелизм: количество потоков контролируется параметром cpu_usage_percent.

Требования:

• Python 3.10+
• ОС: Windows / Linux (проверено чтение кодировок utf-8(-sig) и cp1251)
• Пакеты Python:
  • polars
  • numpy
  • tqdm (опционально — для прогресс-бара)
  • xlsxwriter (для экспорта Excel через polars.write_excel)

Установка зависимостей:

pip install polars numpy xlsxwriter tqdm

Для быстрого старта не требуется скачивать исходные файлы скрипта. Достаточно скачать выгрузку информационной базы "Анализ технологического журнала" из каталога releases_1c📂. Информационная база уже включает в себя исходный код скрипта python, а также готовые шаблоны для формирования конфигурационного файла config.json. По шаблону анализа автоматически сформируется config.json и выполнится запуск скрипта python. Результаты анализа сразу будут доступны в каталоге с результатами.

Ручной запуск:

1. Подготовьте config.json в корне рядом с main.py.
2. Запустите:

python main.py

3. Итоговый файл будет сохранён в <output_directory>/<output_file>.

Подробное руководство: Запуск через информационную базу "Анализ технологического журнала"

Дополнительно:

• keys_filters: массив фильтров.

Фильтры задаются в массиве keys_filters.
Каждый фильтр описывается как объект:

{ "key": "<имя поля>", "operation": "<операция>", "value": <значение> }

Поддерживаются следующие операции:

Агрегации задаются в массиве aggregation для каждого ключа из keys_result.
Поддерживаются следующие операции:

1. Поиск файлов в каталогах.
2. Фильтр по дате/размеру.
3. Определение кодировки.
4. Построчный парсинг событий.
5. Применение фильтров.
6. Сборка чанков → Parquet.
7. Агрегации и формулы.
8. Экспорт в Excel.

👉 Подробное руководство пользователя см. в Руководство пользователя RDV-LogA

• cpu_usage_percent: 0 = один поток, >0 = пропорция CPU.
• Потоковая обработка → Parquet → объединение.
• LazyFrame оптимизирует память.

• Файл: <logger_directory>/<logger_file>
• Консольный вывод.
• Диагностика по шагам: поиск файлов, агрегации, формулы, кодировки.

• Файл должен начинаться с префикса даты YYMMDDhh.
• Минимальный размер: > 20 байт.
• event_name должен реально встречаться.
• Excel требует пакет xlsxwriter.

Проект распространяется под лицензией BSD 3-Clause.
Подробности см. в файле LICENSE.