DBI помогает заказчикам восстанавливать работу систем после сбоя инфраструктуры Yandex Cloud

С 7 по 11 октября Яндекс сообщил о повреждении инфраструктуры дата-центров в Сасово, Калуге и Владимире, повлиявшем на доступность части сервисов. Команды Яндекса продолжают восстановительные работы и оказывают поддержку клиентам и партнёрам.

Последствия инцидента затронули отдельные системы заказчиков DBI, а также внутреннюю инфраструктуру компании. Специалисты технической поддержки и профильные инженеры DBI оперативно включились в работы по оценке последствий, восстановлению работоспособности и поиску альтернативных сценариев запуска.

По состоянию на 12 октября часть клиентских систем переведена на резервные мощности, работоспособность внутренних систем DBI восстановлена. По отдельным сервисам продолжаются восстановительные работы и подготовка альтернативных вариантов размещения и запуска.

От реагирования на инцидент — к восстановлению бизнес-сервисов

DBI использует распределённую инфраструктуру, размещённую на нескольких площадках, включая Yandex Cloud. Последствия инцидента для разных систем оказались неодинаковыми: они зависели от архитектуры решений, взаимосвязей между компонентами, доступности резервных ресурсов и степени готовности резервных сред.

В таких ситуациях недостаточно просто дождаться восстановления основной площадки. Необходимо определить, какие сервисы критичны для бизнеса, проверить доступность данных и резервных копий, оценить возможность запуска на альтернативных ресурсах и организовать последовательное восстановление.

Работа DBI сосредоточена на четырёх направлениях:

• Оценка последствий и приоритизация. Специалисты определяют, какие системы затронуты, какие зависимости мешают их запуску и в какой последовательности целесообразно восстанавливать сервисы. Приоритеты согласовываются с заказчиками исходя из влияния простоя на бизнес-процессы.
• Переключение на резервные мощности. Если архитектура решения и состояние резервной инфраструктуры позволяют, системы переводятся на доступные ресурсы. При этом важно проверить не только запуск отдельных компонентов, но и работоспособность связанных сервисов.
• Проверка данных и восстановление резервных сред. Команда оценивает актуальность и пригодность резервных копий, возможность восстановления из них и готовность резервных ресурсов. После переключения рабочих систем необходимо также восстановить резерв, чтобы не оставлять сервис без следующего уровня защиты.
• Поиск альтернативных сценариев. Если штатное восстановление пока невозможно, DBI совместно с заказчиками рассматривает другие варианты размещения и запуска систем с учётом доступных ресурсов, технических ограничений и требований бизнеса.

Такой подход позволяет принимать решения не только исходя из состояния инфраструктуры, но и с учётом того, какие функции необходимо вернуть в первую очередь и какие риски остаются после каждого этапа восстановления.

Михаил Сарычев, генеральный директор DBI:

«Подобные инциденты проверяют на практике не столько выбранную облачную платформу, сколько готовность всей ИТ-системы к отказам. Можно использовать надёжную инфраструктуру и регулярно создавать резервные копии, но при этом не иметь проверенного сценария восстановления, доступных резервных мощностей или понимания зависимостей между сервисами.

В текущей ситуации наша задача — помочь заказчикам восстановить работу систем, определить приоритеты и выбрать реализуемые сценарии запуска. Для этого недостаточно просто предоставить инженеров: необходимо оценить архитектуру, состояние данных, доступность ресурсов и последовательность действий.

Мы исходим из того, что заказчик должен получать не только технические работы, но и понятную картину происходящего: что уже восстановлено, какие ограничения сохраняются и что необходимо сделать дальше. Надёжность нельзя гарантировать одними обещаниями о безотказности. Она складывается из подготовленной архитектуры, проверенных процедур и способности команды действовать в условиях неопределённости.

После завершения восстановления важно проанализировать инцидент и устранить выявленные слабые места. Именно так реакция на конкретный сбой становится повышением устойчивости системы в долгосрочной перспективе».

Что бизнесу стоит проверить уже сейчас

Опыт подобных инцидентов показывает, что готовность к аварийному восстановлению необходимо оценивать заранее, а не в момент отказа основной инфраструктуры.

DBI рекомендует компаниям обратить внимание на пять практических аспектов:

• Проверять восстановление из резервных копий. Сам факт создания копий не подтверждает, что из них можно восстановить работоспособную систему в приемлемые сроки.
• Хранить резервные копии независимо от основной площадки. Необходимо учитывать возможность одновременной недоступности связанных инфраструктурных компонентов и исключать ситуацию, когда основной контур и резерв зависят от одного источника отказа.
• Подтверждать готовность резервных мощностей. Важно заранее понимать, где и на каких ресурсах можно запустить критичные сервисы, а также проверять доступность этих ресурсов на практике.
• Регулярно тестировать сценарии переключения и восстановления. Проверять нужно не только отдельные серверы и приложения, но и весь путь от получения данных до восстановления бизнес-функции с учётом интеграций и внешних зависимостей.
• Определить приоритеты и ответственность. Для критичных систем должны быть согласованы последовательность восстановления, ответственные участники, порядок коммуникации и допустимое время простоя.

Эти меры актуальны как для облачных решений, так и для инфраструктуры на собственных площадках. Использование нескольких дата-центров или облачных сред само по себе не гарантирует непрерывность: результат зависит от архитектуры резервирования, независимости контуров и готовности команды выполнить восстановление.

Устойчивость — это управляемый процесс

DBI рассматривает сопровождение критичной ИТ-инфраструктуры как комплексную задачу, включающую мониторинг, техническую поддержку, управление инцидентами, оценку рисков и подготовку к восстановлению.

Цель такого подхода — не обещать отсутствие любых сбоев, а снижать вероятность длительных простоев, сокращать последствия инцидентов и обеспечивать заказчику понятный процесс восстановления.

Инцидент в Yandex Cloud — повод для компаний проверить, насколько их планы аварийного восстановления соответствуют реальным условиям. Ключевой вопрос заключается не только в том, где размещена система, но и в том, сможет ли бизнес продолжить работу, если выбранная площадка или часть инфраструктуры окажется недоступна.