«Россети Сибирь» — дочернее общество ПАО «Россети», осуществляет передачу и распределение электроэнергии в Сибирском и Дальневосточном федеральных округах. Территория обслуживания — свыше 1,974 млн км². Рост объема данных в информационных системах «Россетей Сибирь» потребовал оперативного расширения систем хранения (СХД). Учитывая высокую стоимость СХД-решений и ограничения на приобретение импортного оборудования, требовалось найти технологичный и экономически эффективный способ хранения объемов данных без потери их целостности и доступности.
Специалисты оператора ИТ-решений «ОБИТ» разработали под эти задачи сервис сжатия данных, полностью размещенный в периметре заказчика. Он не требует подключения к Интернету, совместим с отечественными продуктами на базе ядра Linux и бесшовно интегрируется с информационными системами компании-заказчика посредством открытого API. Ключевой особенностью модуля является использование встроенной нейросети, обеспечивающей обработку документов и изображений с учетом качества, размера и соответствия внутренним стандартам документооборота.
Архитектура нового ИТ-решения включает в себя систему первичного приема запросов, которая анализирует поступающие файлы и направляет их в соответствующую ветку обработки — «документ» или «изображение». Если объект является изображением, он проходит через цепочку модулей подготовки, обработки и финальной оценки качества. Для PDF-файлов используется последовательность, состоящая из модулей декомпозиции документа, сжатия компонентов и последующей сборки с выбором оптимизированного варианта.
Обработка файлов выполняется в автоматическом многопоточном режиме. Параметры сжатия настраиваются по требованиям заказчика. Особое внимание при настройке сервиса было уделено сохранению «читабельности» текста, целостности и соответствия сжатых объектов стандартам форматов JPEG и PDF. Это необходимо для корректной работы в сторонних приложениях. Сжатие данных происходит в заданный временной интервал: документы, поступающие во внутреннюю систему документооборота, автоматически обрабатываются системой и заменяются уменьшенными в размере копиями. Для оценки результатов используется нейросеть, которая обрабатывает документ до и после сжатия, распознает текст и определяет его соответствие установленным параметрам сжатия. Такой подход позволяет на высоком уровне автоматизировать контроль качества и минимизировать участие человека в процессе.
Проект реализовывался поэтапно в течение полугода: от анализа объемов данных и сценариев их оптимизации до настройки модели сжатия под бизнес-процессы. Вся работа велась итеративно с тестированием и кастомизацией под конкретные задачи заказчика.
«В результате внедрения сервиса в «Россети Сибирь» на сегодняшний момент уже оптимизировано 5 ТБ архивных данных, тем самым снижена нагрузка на хранилище на 35%. Решение позволило сократить затраты на хранение данных более, чем в три раза», – прокомментировал Михаил Телегин, заместитель генерального директора по стратегическим проектам «ОБИТ».
Гибкая архитектура ИТ-решения позволяет масштабировать сервис на другие сегменты бизнес-процессов заказчика, включая области документооборота и аналитики.
«Кейс для «Россети Сибирь» наглядно демонстрирует, что специализированные решения позволяют эффективно решать прикладные задачи в области ИТ-инфраструктуры. Разработанный модуль сжатия данных может быть масштабирован и адаптирован для других крупных предприятий, особенно в отраслях с высоким объемом цифровых архивов и требованиями к оптимизации ресурсов. При этом решение сочетает в себе высокую технологичность, прикладную эффективность — что критически важно в условиях быстро меняющейся ИТ-среды», – отметил эксперт.