Kafka – мощный инструмент для асинхронного взаимодействия сервисов, обеспечивающий высокую пропускную способность и надежность. Это распределенная система обмена сообщениями с поддержкой репликации, горизонтального масштабирования и параллельной обработки потоков данных.
DBI рекомендует Kafka для бизнесов, связанных с обработкой потоков данных: уведомлений о заказах, платежах, действиях пользователей и других событий.
Устанавливаем с нуля однонодовую или кластерную конфигурацию Kafka, как в kraft режиме, так и в режиме zookeeper с учётом ваших потребностей и максимальной экономией вычислительных ресурсов, с высокой отказоустойчивостью и надёжностью.
Настраиваем дополнительные компоненты Kafka, такие как Kafka-connect, schema-registry, rest и ksql.
Выполняем апгрейд Kafka: standalone установки (с простоем), cluster установки (multinode) (минимальный простой).
осуществляем миграцию из одной установки Kafka в другую с помощью mirror коннекторов или посредством кластеризации source и target системы (минимальный простой).
Настраиваем delete и compact Kafka topics и оптимизируем их параметры в зависимости от установленных требований их использования
Конфигурируем доступ к Kafka на основе (SASL/ACLs)
Помогаем создать и оптимизировать использование Kafka consumer group
Консультируем по Kafka настройкам consumer-ов и producer-ов
Помогаем анализировать возникающие ошибки
Конфигурируем экспортеры метрик для kafka сервисов.
Настраиваем удобную визуализацию метрик.
Устанавливаем алерты и реагируем на обнаруживаемые ими инциденты в соответствии с установленным соглашением (SLA).
Консультируем по метрикам, собираемым на уровне consumer и producer.
Анализируем метрики и их девиации, с целью определения целесообразности скалирования мощностей Kafka или ее оптимизации.
Настраиваем резервное копирование конфигурационных файлов и метаданных Kafka
Восстанавливаем сервис в случае сбоя (восстановление без учёта данных);
Конфигурируем холодную копию Kafka.
Выполняем настройку cdc коннекторов (Debezium) из БД (Postgres, MSSQL, MondoDB) в Kafka
Настраиваем file-коннекторы
Конфигурируем mirror-коннекторы
Консультируем по работе со Schema Registry.
(даже при отсутствии доступа к вашей информационной системе).
