Минулого четверга о дев’ятій ранку робочий день корпорації Microsoft починався за стандартним регламентом, проте вже через годину розгорнувся один із наймасштабніших збоїв в історії функціонування сервісу Outlook. Початкова проблема виникла на серверах Exchange Online у Швейцарії та за короткий термін поширилася на територію Мексики, внаслідок чого вісімдесят відсотків потужностей припинили відповідати на запити користувачів. Внутрішня система моніторингу зафіксувала інцидент критичного рівня sev0, що свідчить про катастрофічну деградацію послуг та потребує негайного залучення сотень інженерів одночасно.

Автоматизовані системи відмовостійкості замість локалізації несправності почали автоматично перенаправляти мережевий потік на здорові вузли, чим лише прискорили масштабування критичної помилки на всю глобальну інфраструктуру компанії. Фахівці вивчали звіти про збої та дампи пам’яті ядра, виявивши аномально високе завантаження центральних процесорів, яке змушувало сервери масово переходити в режим технічного обслуговування. Процес завантаження операційної системи через мережу виявився повністю паралізованим через циклічні перезавантаження, оскільки величезний обсяг накопиченого трафіку миттєво перевантажував кожен щойно запущений сегмент мережевого обладнання.
Під час інтенсивного пошуку першопричини аналізувалися версії цілеспрямованої кібератаки або помилки в алгоритмах автоматичного написання коду, проте детальний аналіз мережевого стека виявив прихований дефект у шлюзах Microsoft триста шістдесят п’ять. Цей програмний баг перебував у релізі ще з липня дві тисячі двадцять п’ятого року та жодним чином не впливав на роботу системи до моменту виникнення специфічних умов навантаження. Керівник підрозділу платформ Чарльз Ламанна підтвердив у соціальних мережах, що дефект спричинив конфлікт блокувань усередині процесів Windows, який за звичайних умов експлуатації мережі залишався абсолютно непомітним.
Апаратна специфіка інциденту виявилася в тому, що лабораторні тестування Microsoft проводилися на застарілому обладнанні з малою кількістю ядер, де проблема синхронізації потоків програмного коду не проявлялася. На сучасних серверах з великою кількістю обчислювальних ядер конфлікт блокувань став фатальним, особливо після того, як 14,0% загальної потужності мережевого шлюзу виявилися недоступними через вчорашню технічну несправність. Накладання цих факторів на примусове перемикання трафіку сервісу Teams призвело до неможливості стабільної роботи системи, а стандартні протоколи відкоту змін не змогли повернути шлюзи до робочого стану.
Складний процес відновлення працездатності тривав майже двадцять чотири години, оскільки автоматизовані алгоритми не були розраховані на настільки масштабний параліч, а черга вхідних повідомлень безперервно виводила сервери з ладу. Корпорація готує фінальний аналітичний звіт за результатами інциденту, проте вже зараз зрозуміла гостра необхідність перегляду методик імітації екстремальних навантажень під час випробувань нових версій програмного забезпечення. Подібні каскадні відмови трапляються вкрай рідко, проте вони наочно демонструють вразливість сучасної хмарної архітектури, в якій поєднання трьох випадкових обставин здатне на тривалий час зупинити цифрову комунікацію планетарного масштабу.


