Как это работает: департамент аналитики данных

Рубрику о жизни компании продолжает руководитель департамента аналитики данных Константин Жерневский.

Как Вы можете описать задачи Вашего департамента “в двух словах”?

Мы помогаем клиентам извлекать ценность из их данных, создаем и сопровождаем корпоративные аналитические системы. 

Какими технологиями владеют сотрудники департамента?

Все технологии можно разделить на базовые и специализированные.

Среди базовых я выделяю SQL, Концепции хранилищ данных (DWH — Datawarehouse) – Кимбалл и Data Vault, shell, реляционные базы данных, ITIL, PmBooK, Scrum, английский язык.  А специализированные — это инструменты BI(Business Intelligence), ETL-инструменты, NoSQL базы данных для построения DWH, Hadoop, Jupyter+Python+библиотеки AI/ML (artificial intelligence/ machine learning)

Наверное, проще это представить в виде облака тэгов: 

Нам, как и, наверное, всем в IT, приходится постоянно учиться и осваивать новые продукты и новые технологии.

Бывают какие-то “хайповые” продукты и бывают продукты стабильно востребованные и не всегда они между собой совпадают.

Развитие IT происходит по спирали, и специфика зачастую состоит в том, что новая хайповая технология — это “верхушка айсберга”: чтобы быть в ней экспертом, надо знать предшествующие технологии, а чтобы развиваться, надо, как говорится, быть все время on the bleeding edge.

К относительно новым и востребованным можно отнести Apache NiFi и Apache AirFlow, Yandex ClickHouse.

Также важно понимать, что в BI-проектах, как правило, визуализация данных занимает 20-30% работы, в то время как 70% — это подготовка данных (загрузка, трансформация, очистка, обогащение). То же самое можно сказать и про работу инженера по данным (data scientist): значение подготовки данных сложно переоценить и оно занимает солидную часть времени.

Как строится работа в департаменте?

У нас организовано кросс-функциональное управление: с одной стороны есть организационная структура и каждый сотрудник имеет ресурсного менеджера, с другой — сотрудник может работать в рамках проектной команды или команды поддержки конкретного клиента.

Департамент состоит из четырех отделов: BI, ETL, EPM, поддержки аналитики данных.

Есть ресурсные менеджеры – руководители отделов, есть проектные менеджеры (PM), есть менеджеры, отвечающие за сопровождение клиентов (TAM). Как правило, все менеджеры обладают технической экспертизой и вовлечены в технические детали проектов и поддержки, могут помочь сотрудникам, такие «играющие тренеры». 

Отделы BI, ETL, EPM работают по стандартному графику, 5 дней в неделю, и сосредоточены в основном на разработке или проектной работе. Но в то же время иногда они могут привлекаться и для поддержки как экспертная 3-я линия в случае сложных проблем или запросов на доработку.

Отдел поддержки аналитики данных работает как вторая линия поддержки и покрывает время 16*7 (с 8 утра по Мск до 12 ночи по Мск ежедневно). Сотрудники поддержки могут привлекаться на работы по проектам, но фокусируются все же на поддержку. Как правило, все новички сначала приходят в отдел поддержки и, осмотревшись и набравшись опыта, выбирают для себя, в какую сторону они больше хотят развиваться и что им больше подходит: разработчик BI, разработчик ETL, аналитик, ресурсный менеджер, PM, TAM, архитектор, администратор приложений. 

Еще у нас есть проектные группы и группы поддержки конкретного клиента. Сотрудники выделяются на проект и менеджер проекта определяет приоритеты в задачах, очередность для участников проекта. Проекты могут быть как по PMBok, так и по гибким методологиям ведения проектов, Scrum и Kanban. 

Вопросы обучения, отпусков, развития сотрудника, выделения сотрудника на тот или иной проект или контракт согласуются с ресурсным менеджером.

Какими проектами и решениями Вы особенно гордитесь?

Было немало интересных проектов за время существования отдела и ныне департамента.

Определенно стоит отметить наш первый проект “решения как сервис” (SaaS): сервис SellOut  для Schneider Electric (Россия). В этом проекте мы выполнили полный цикл разработки и поддержки, от сбора требований и построения архитектуры на базе Oracle Cloud до реализации архитектуры, внедрения и поддержки сервиса. Клиент получил возможность видеть вторичные продажи по каналам продаж своевременно и достоверно. А вот ценное время клиента стало тратиться на анализ данных и принятие решений вместо изнурительных затрат на подготовку данных. В качестве только одного из положительных эффектов: клиент понял, что тратил маркетинговый бюджет на развитие неосновного канала продаж, думая что он основной. Это позволило перенаправить маркетинговые усилия в нужное русло. Подробнее в видео:

Еще был интересный проект по миграции аналитического решения на базе линейки Oracle с 11 платформы на 12. Мы сделали это первыми в РФ и одними из первых во всем мире (Прочитать про это можно здесь https://www.cnews.ru/news/line/2016-09-22_dbi_modernizirovala_analiticheskuyu_sistemu_uralskih).

Вообще мы долго и плотно сотрудничаем с Уральскими авиалиниями в плане разработки и поддержки аналитической системы, начиная с ежедневной поддержки, заканчивая стратегией развития архитектуры.

Сейчас мы готовим миграцию одного из клиентов на новое поколение аналитической линейки Oracle Analytic Server и надеемся в ближайшие пару месяцев сообщить об успешном завершении такой миграции.

Интересным можно назвать проект SalesComp на платформе DOMO для клиента из США в сфере технологий и мультимедиа. Это довольно экзотическая платформа для рынка РФ, но в США она популярна за счет сотен коннекторов к различным сервисам. Этот проект дал возможность клиенту рассчитать полный план комиссионных для каждого участника, основываясь на транзакциях биллинга и справочниках. В результате учли вовлеченность сотрудников и увеличили синергию и управляемость затратами компании.

Как Вы видите отдел через 5 лет?

Количество данных растет в геометрической прогрессии и вместе с этим растет спрос на анализ данных. Как говорится, чтобы чем-то управлять, надо уметь это измерять. Вслед за ростом данных растет и количество метрик, требования к качеству, требования к скорости обработки данных… и наш штат! Я предполагаю, что через 5 лет нас будет уже около 80 человек.

С увеличением количества сотрудников усиливается специализация и разделение труда. Каждый больше занимается тем, что у него лучше получается. Уже сейчас в работе создание отдела системных аналитиков, который будут своего рода мостиком между бизнесом и разработчиками. Есть в планах выделение отдела BigData – несколько человек прошли обучение и сделали первый проект по анализу логов с использованием сборки Cloudera. А еще хотим сделать отдел AI/ML самостоятельным. Параллельно развиваем отдел EPM (Enterprise Performance Management), систем бюджетирования на базе Oracle EPM, Hyperion, IBM TM1.

Важный опыт с SellOut, как я уже говорил ранее, мы уже получили, но хотелось бы развивать продуктовое направление в DBI в коллаборации с другими подразделениями компании.  

Как попасть в Вашу команду?

Это очень просто, достаточно отправить резюме на hr@dbi.ru с указанием желаемой позиции или откликнуться на вакансию.

Мы поможем сделать первые шаги в сфере аналитики, поможем познакомиться с разными аспектами этой области в дружной и доброжелательной команде. Поможем определиться что Вам лучше подходит: кодить или общаться с бизнес-пользователями, придумывать дизайн информационных панелей или искать аномалии в данных.

Необходимым условием является законченное или незаконченное высшее образование в сфере IT и/или экономики. На этапе знакомства с кандидатом мы проверяем навыки SQL, знание английского языка, задаем задачки на логику.  На позицию EPM мы также проверяем знания бухгалтерского учета или бюджетирования. 

Чтобы лучше подготовится к собеседованию, могу посоветовать несколько ресурсов: