Для авиакомпании с большим объемом услуг и сложной тарификацией важно, чтобы основные данные были управляемыми, согласованными и доступными для всех систем-потребителей.

В S7 Airlines использовалась система управления мастер-данными, которая обеспечивала базовые процессы ведения справочников и работы с данными. С ростом объёма данных, количества интеграций и числа пользователей возникла потребность в развитии этих процессов и создании более гибкого инструмента управления данными.

В рамках этой задачи был создан Le Catalogue (далее — Каталог). Начавшись как решение для управления справочниками услуг, продукт постепенно расширил свою функциональность и стал одной из ключевых систем управления мастер-данными компании.

Сегодня Каталог обеспечивает централизованное ведение справочников и связанных данных, поддержку версионности, согласования изменений и доставку данных в системы-потребители.

Почему потребовалось новое решение

Целью проекта было не только упростить работу с данными, а эволюционно развить подход к управлению основными данными и выделить его в отдельный продукт, который:

• лучше поддерживает рост числа справочников и пользователей;
• удобнее для регулярной работы бизнес-пользователей;
• позволяет развивать процессы согласования и публикации данных;
• упрощает интеграции и доступность данных для потребителей.

Бесшовный переход на новый функционал.

Нужно было перенести функциональность и справочники из существующей системы, учитывая различия в моделях данных и сохранив непрерывность бизнес-процессов. При этом для систем-потребителей переход должен был оказаться незаметным: существующие интеграции и сценарии взаимодействия продолжили работать без доработок, а смена системы не потребовала изменений со стороны потребителей данных;

Требование к развитию.

Новая система должна поддерживать рост: по справочникам, пользователям, функциональности и интеграциям.

Le Catalogue — продукт для управления основными данными S7 Airlines. Каталог объединяет данные из разных источников в единую модель, помогает поддерживать их актуальность и обеспечивает быстрый доступ к информации для пользователей и систем-потребителей.

1) Консолидация и централизованное хранение данных
 Каталог выступает “единой точкой” хранения: данные об услугах, справочники и иерархии собираются и ведутся в одном месте, что упрощает сопровождение и развитие.

2) Управление записями и актуализация
Система поддерживает жизненный цикл записей: изменения управляемы, прозрачны и воспроизводимы (версионность, история изменений, контроль актуальности).

3) Автоматизация сбора и анализа данных из разных источников
 Каталог снижает долю ручной работы: вместо ручного поиска и сверки данные собираются и приводятся к нужному виду через интеграционный контур и правила обработки.

4) Группировка данных и быстрый доступ к нужной информации
 Данные можно структурировать по признакам и быстро находить необходимое: это важно для повседневной работы с большим количеством услуг и параметров.

5) Упрощение формирования отчетности
 Каталог становится устойчивой опорой для отчетности: данные стандартизированы, доступны и готовы к использованию в аналитических и отчетных сценариях.

Каталог не только помогает вести основные данные, но и обеспечивает их доступность: изменения и актуальные данные становятся доступными системам-потребителям через публикацию в интеграционный контур.

✔ Серверная часть: Java / Spring

✔ Клиентская часть: Angular

✔ Хранилище: PostgreSQL

Интеграции и доставка данных:

✔ Apache Kafka, Apache NiFi

Автоматизация процессов:

✔ n8n

Эксплуатация:

✔ Docker, мониторинг Grafana и Zabbix

Переход выполнялся через поэтапную миграцию и последующую доработку под новые требования для каждой части системы — чтобы последовательно переносить функционал, справочники и снижать риски для бизнеса.

2022 — выделение Каталога как отдельного продукта

• старт проекта с выделением функциональности управления справочниками из МДМ в отдельный продукт, формирование требований к стартовой версии Каталога и целевого подхода к управлению данными;
• реализация базовых сценариев работы со справочниками (создание, редактирование, группировка);
• настройка инфраструктуры и ключевых компонентов (сервисная часть, интерфейс, конфигурации);
• формирование базовой структуры данных для ведения справочников, связей между ними и механизмов версионности.

2023 — выпуск минимального жизнеспособного продукта, развитие ядра и интеграций

• развитие механизмов создания, редактирования и управления жизненным циклом записей (включая черновики);
• доработка пользовательского интерфейса (навигация, работа со справочниками, просмотр записей);
• запуск и развитие интеграций (в том числе через NiFi);
• формирование архитектуры обмена данными между компонентами системы.

2024 — развитие функциональности

• развитие загрузки и обработки данных (добавили возможность работать со справочниками посредством экспорта и импорта через Excel);
• доработка модели атрибутов (дополнение типами данных: реализация составных и списочных атрибутов);
• повышение стабильности и качества данных (обработка дублей и совершенствование валидаций);
• развитие UI и UX для работы с большим объёмом данных (редизайн системы);
• реализация функционала глобального поиска и замены (интерфейс поиска и замены позволяет находить и обновлять данные одновременно в нескольких справочниках и атрибутах без необходимости вносить изменения вручную в каждую запись);
• историрование (история справочника или записи позволяет отследить автора изменений, дату и содержание внесенных корректировок, что упрощает аудит данных и анализ причин изменений).

2025 — развитие процессов управления основными данными (Каталог как система управления мастер-данными)

• перенос и структурирование справочников с постепенной консолидацией функционала управления мастер-данными в Le Catalogue;
• реализация механизма работы с первичными и эталонными данными: загрузка данных из систем-источников в первичные справочники, настройка сопоставления атрибутов и правил обработки данных, а также формирование эталонных справочников для создания единого согласованного набора данных;
• реализация процессов согласования (создание функционала для прозрачной маршрутизации записи между участниками процесса согласования по заранее согласованным этапам, контроль статусов и хранение истории принятых решений);
• усиление эксплуатационных и DevOps-практик (настройка мониторинга и стабильности процессов);
• реализация правил (механизм правил позволяет автоматизировать обработку данных и присвоение значений атрибутам по заданным условиям);
• сервис уведомлений (автоматическая рассылка уведомлений на почту пользователям о создании, изменении, удалении и согласовании записей в доступных им справочниках).

Текущее состояние: функционал управления основными данными уже перенесен в Le Catalogue, перенесена большая часть справочников. Каталог масштабируется в эксплуатации — растёт количество справочников и пользователей.

Каталог стал современным продуктом, который:

✔ Обеспечивает централизованное ведение основных данных компании. Для повышения качества и консистентности данных в Каталоге реализован функционал работы с первичными (наполняемыми из систем-источников) и эталонными справочниками. Он позволяет собирать данные из различных источников — веб-сервисов, SFTP, S3-хранилищ, файловых источников, Kafka-топиков и других систем.

Система поддерживает гибкую настройку приоритетов источников и политик обработки данных, что позволяет автоматически формировать эталонные записи при поступлении информации из нескольких систем. Сопоставление атрибутов первичных и эталонных справочников настраивается через пользовательский интерфейс без участия разработчиков.

✔ Поддерживает версионность данных и историрование изменений, обеспечивая прозрачность работы со справочниками: пользователи могут видеть какие данные были изменены, когда произошло изменение и в рамках какой версии записи.

✔ Не только хранит данные, но и передаёт их системам-потребителям через интеграционный контур на базе Kafka. Это позволяет распространять актуальные данные в связанные системы и использовать Каталог как центральную точку публикации изменений. Отдельно реализована возможность создавать интеграции через интерфейс Каталога.

Это упрощает подключение новых потребителей данных: интеграцию можно создать с нуля в пользовательском интерфейсе, без необходимости каждый раз дорабатывать интеграции “вручную” на уровне кода.

✔ Позволяет задавать правила для автоматического заполнения данных. Система автоматически присваивает значения атрибутам на основе заданных условий и бизнес-правил. Например, при формировании распорядков бортового питания правила учитывают параметры рейса (аэропорт вылета, длительность полёта и другие характеристики) и автоматически определяют необходимые рационы, блюда и цеха приготовления.

Это снижает объем ручной работы и количество ошибок, а также обеспечивает единообразное применение бизнес-логики ко всем записям в справочниках, где они заведены.

✔ Обеспечивает полный контроль над процессами согласования данных. В Каталоге реализован единый механизм согласования, который поддерживает различные пользовательские сценарии: создание новых услуг и изменение версий существующих, согласование распорядков бортового питания после автоматического применения правил, возможность редактирования данных в процессе согласования по комментариям согласующих и прозрачную маршрутизацию заявок между подразделениями.

Пользователи могут отслеживать статус согласования, получать уведомления об изменениях, просматривать историю действий и работать с комментариями в рамках единого интерфейса. Это обеспечивает прозрачность процесса и контроль изменений на всех этапах жизненного цикла данных.

✔ Делает удобным администрирование и доступ к работе с данными, так как реализована трехуровневая модель разграничения доступа: на уровне справочников, атрибутов и категорий справочников (локальное администрирование, которое позволяет сотрудникам подразделений самостоятельно настраивать и сопровождать справочники, находящиеся в их зоне ответственности, без привлечения администраторов системы).

Это позволяет гибко настраивать права пользователей в зависимости от их задач и зоны ответственности. Дополнительно реализован механизм универсальных ролей, который объединяет несколько пользовательских ролей в одну и избавляет пользователей от необходимости переключаться между ними при работе с системой.

Каталог развивается как продукт и фокусируется на улучшении работы пользователей и развитием функциональности:

1) Функционал выявления неявных дублей. Команда работает над механизмом автоматического поиска потенциально дублирующихся записей в справочниках. Система будет анализировать значения выбранных атрибутов и выявлять записи, которые могут относиться к одной записи по бизнес-ключу, даже если они отличаются по написанию или содержат неполные данные. Пользователи смогут просматривать найденные совпадения, принимать решение об архивировании дублирующих записей или публикации записи;

2) Автоматическое формирование документов по результатам согласования. Планируется работа над универсальным механизмом генерации документов на основе данных, полученных из справочников Каталога. После утверждения новых или изменённых данных об услугах система сможет автоматически формировать документы на основе актуальной информации из Каталога. Такой подход позволит исключить ручное заполнение документов и обеспечить актуальность документооборота авиакомпании.

Опыт проекта S7 Airlines показывает, что эволюционное развитие существующих решений позволяет постепенно построить единую систему управления мастер-данными без остановки бизнеса и сохранить возможность дальнейшего масштабирования по мере роста требований.

Чем больше информационных систем появляется в компании, тем сложнее поддерживать единое и актуальное представление о данных. Если перед вашей компанией стоят задачи модернизации существующей MDM-системы, консолидации справочников или развития процессов управления мастер-данными, эксперты DBI помогут оценить текущее состояние решения и предложат оптимальный сценарий его развития.