ITS DPP (ITS Data Processing Platform) — это платформа для анализа, хранения и обработки больших данных на базе ПО с открытым исходным кодом, разработанная иркутской IT-компанией ITSumma. Стек решения включает в себя: Apache Kafka, Apache Spark, Apache Airflow, Apache Hadoop, Greenplum, Apache Superset Redash, Prometheus.
ITS DPP будет полезна, если необходимо:
- Построить систему хранения, обработки и анализа данных с нуля.
- Быстро развернуть инфраструктуру для хранения и анализа данных.
- Создать витрины данных, организовать процессы обработки данных, реорганизовать хранение данных.
- Оптимизировать структуру, снизить издержки и избежать при этом ресурсных потерь.
С помощью платформы дата-инженеры смогут:
- Создать Data Lake или Data Warehouse для хранения структурированных и неструктурированных данных.
- Организовать сбор данных из разнородных источников в единое хранилище
- Настроить ETL/ELT преобразования.
- Организовать проверку качества данных.
- Настроить потоковую и пакетную обработку данных.
- Организовать контроль и доставку кода для обработчиков данных.
- Настроить дашборды с разными уровнями доступа для различных подразделений.
Решение построено по модульному принципу. Модули отвечают за отдельные задачи, такие как сбор, обработка, хранение и преобразование данных. В полной комплектации ITS DPP может обрабатывать данные пакетным или потоковым методом, хранить необработанные, структурированные и неструктурированные данные различного объема, формировать витрины данных. Вместе с платформой поставляется модуль управления и мониторинга отдельных компонентов.
ITS DPP полностью отечественная разработка и замещает многие зарубежные решения.
Платформа и отдельные модули продаются как лицензия на срок 1 или 3 года. Техническую поддержку можно приобрести на 1 или 3 года. Лицензия и техническая поддержка приобретаются на каждое физическое ядро сервера или виртуальной машины, на которых развернута платформа или модуль.
Для развертывания в высокодоступной редакции необходимо от 9 серверов с 80 ядрами CPU, 396 Гб оперативной памяти и достаточным объемом хранилища данных.
