В прошлый четверг в девять утра рабочий день корпорации Microsoft начинался по стандартному регламенту, однако уже через час развернулся один из самых масштабных сбоев в истории функционирования сервиса Outlook. Изначальная проблема возникла на серверах Exchange Online в Швейцарии и за короткий срок распространилась на территорию Мексики, в результате чего восемьдесят процентов мощностей перестали отвечать на запросы пользователей. Внутренняя система мониторинга зафиксировала инцидент критического уровня sev0, что свидетельствует о катастрофической деградации услуг и требует немедленного привлечения сотен инженеров одновременно.

Автоматизированные системы отказоустойчивости вместо локализации неисправности начали автоматически перенаправлять сетевой поток на здоровые узлы, чем только ускорили масштабирование критической ошибки на всю глобальную инфраструктуру компании. Специалисты изучали отчеты о сбоях и дампы памяти ядра, обнаружив аномально высокую загрузку центральных процессоров, которая заставляла серверы массово переходить в режим технического обслуживания. Процесс загрузки операционной системы по сети оказался полностью парализован из-за циклических перезагрузок, поскольку огромный объем накопленного трафика мгновенно перегружал каждый только что запущенный сегмент сетевого оборудования.
В ходе интенсивного поиска первопричины анализировались версии целенаправленной кибератаки или ошибки в алгоритмах автоматического написания кода, однако детальный анализ сетевого стека выявил скрытый дефект в шлюзах Microsoft триста шестьдесят пять. Этот программный баг находился в релизе еще с июля две тысячи двадцать пятого года и никоим образом не влиял на работу системы до момента возникновения специфических условий нагрузки. Руководитель подразделения платформ Чарльз Ламанна подтвердил в социальных сетях, что дефект вызвал конфликт блокировок внутри процессов Windows, который при обычных условиях эксплуатации сети оставался абсолютно незаметным.
Аппаратная специфика инцидента проявилась в том, что лабораторные тестирования Microsoft проводились на устаревшем оборудовании с малым количеством ядер, где проблема синхронизации потоков программного кода не проявлялась. На современных серверах с большим количеством вычислительных ядер конфликт блокировок стал фатальным, особенно после того, как 14,0% общей мощности сетевого шлюза оказались недоступны из-за вчерашней технической неисправности. Наложение этих факторов на принудительное переключение трафика сервиса Teams привело к невозможности стабильной работы системы, а стандартные протоколы отката изменений не смогли вернуть шлюзы в рабочее состояние.
Сложный процесс восстановления работоспособности продолжался почти двадцать четыре часа, так как автоматизированные алгоритмы не были рассчитаны на настолько масштабный паралич, а очередь входящих сообщений непрерывно выводила серверы из строя. Корпорация готовит финальный аналитический отчет по результатам инцидента, однако уже сейчас понятна острая необходимость пересмотра методик имитации экстремальных нагрузок во время испытаний новых версий программного обеспечения. Подобные каскадные отказы случаются крайне редко, однако они наглядно демонстрируют уязвимость современной облачной архитектуры, в которой сочетание трех случайных обстоятельств способно на длительное время остановить цифровую коммуникацию планетарного масштаба.


