Штучний інтелект уже став інструментом не лише розробників і захисників, а й злочинців. У новому випуску подкасту Security Intelligence від IBM Technology експерти IBM X-Force обговорюють, як ШІ змінює моделювання противника та редтімінг, і чому людський фактор залишається критично важливим. Один із спікерів — Патрік Фассел (Patrick Facell), керівник IBM X-Force Red Adversary Services, який спеціалізується на імітації дій реальних зловмисників для перевірки безпеки організацій.
Сьогодні, коли загрозові актори вже використовують ШІ, щоб пришвидшувати й нарощувати інтенсивність атак, захисники намагаються відповісти симетрично — експериментують із AI-augmented adversary simulation, тобто моделюванням противника з підсиленням за допомогою ШІ. Але межа між корисною автоматизацією та неконтрольованою шкодою виявляється тонкою.
ШІ на боці атакуючих: швидше, інтенсивніше, масштабніше
Одна з ключових тез дискусії: загрозові актори вже активно використовують ШІ, щоб збільшити швидкість і масштаб своїх операцій. Це не теоретичний сценарій майбутнього, а поточна реальність.
ШІ дає зловмисникам кілька очевидних переваг. По-перше, автоматизація рутинних етапів атаки — від генерації фішингових листів до пошуку відомих вразливостей у відкритих сервісах — дозволяє проводити більше кампаній паралельно. По-друге, моделі можуть допомагати швидше аналізувати результати сканувань, логів і помилок, скорочуючи час від розвідки до експлуатації.
Це створює асиметрію: навіть невелика група атакуючих, озброєна сучасними моделями, здатна діяти з інтенсивністю, яка раніше вимагала значно більших ресурсів. Саме ця зміна темпу змушує команди безпеки шукати способи використати ШІ у власних наступальних тестах — щоб встигати виявляти слабкі місця раніше, ніж це зроблять реальні зловмисники.
AI-augmented adversary simulation: що це таке на практиці
Патрік Фассел розповідає, що його команда в IBM X-Force Red експериментує з AI-augmented adversary simulation вже шість-вісім місяців — ще до того, як публічну увагу привернули гучні проєкти на кшталт Mythos чи Glasswing від Anthropic. Тобто мова не про модну ідею останніх тижнів, а про напрям, який системно досліджують у професійних сервісах з моделювання противника.
Суть підходу проста: замість того, щоб намагатися «замінити» редтім ШІ, команди інтегрують моделі в окремі етапи атаки, де вони можуть дати найбільший приріст ефективності. Це може бути аналіз великого масиву конфігурацій, логів чи вихідних кодів на предмет відомих патернів вразливостей, генерація варіантів payload-ів, допомога в побудові ланцюжків експлуатації на основі вже знайдених слабких місць.
Важливий момент: ці експерименти ведуться в контрольованому середовищі, з чіткими обмеженнями й постійним людським наглядом. І саме досвід таких команд показує, де сьогодні ШІ дійсно корисний, а де його автономність стає ризиком.
Glasswing і «наступальний» ШІ: як моделі шукають вразливості
Одним із конкретних прикладів, який згадується в дискусії, є Glasswing від Anthropic — проєкт, що демонструє, як ШІ може допомагати виявляти вразливості в програмному забезпеченні. Glasswing став одним із перших публічних кейсів, де великі моделі системно застосовуються для задач, традиційно пов’язаних із наступальною безпекою.
Ідея в тому, що модель отримує доступ до коду або до опису системи й допомагає знаходити потенційні слабкі місця, які можуть бути використані для атаки. Це не «чарівна кнопка», яка миттєво видає повний список експлойтів, але потужний інструмент для прискорення аналізу, особливо в великих кодових базах, де людському аналітику складно охопити все.
Glasswing показує дві важливі речі. По-перше, ШІ вже сьогодні здатен виконувати частину роботи, яку раніше робили лише спеціалісти з безпеки, — принаймні на рівні виявлення підозрілих конструкцій і патернів. По-друге, такий «наступальний» ШІ однаково цікавий і захисникам, і зловмисникам. Якщо моделі можуть допомагати редтімам знаходити вразливості швидше, вони так само можуть допомагати й тим, хто планує реальні атаки.
Саме тому команди на кшталт X-Force Red намагаються випередити криву: зрозуміти, як найкраще інтегрувати ШІ в етичний редтімінг, перш ніж аналогічні техніки стануть масовим інструментом у руках кримінальних груп.
Експеримент Sophos з Open Claw: коли ШІ-редтімер стає небезпечним
Ще один показовий кейс, на який посилаються учасники подкасту, — експеримент Sophos з AI red teamer під назвою Open Claw. Цей проєкт мав на меті створити систему, яка б автономно виконувала роль «червоного» гравця в тестах безпеки, генеруючи реалістичну активність атакувальника проти цільового середовища.
Результат виявився обережно-скептичним. Open Claw зіткнувся з фундаментальною дилемою: як одночасно генерувати достатньо «корисну» тестову активність, щоб вона мала сенс для перевірки захисту, і при цьому не завдавати реальної шкоди інфраструктурі, по якій ведеться атака.
Модель, яка намагається поводитися як справжній зловмисник, природно прагне до максимально ефективних дій — а це означає ризик видалення даних, порушення роботи сервісів, зміни конфігурацій. Для реального противника це бажаний результат, але для тестового середовища, особливо якщо воно близьке до продуктивного, — неприйнятний побічний ефект.
Експеримент Sophos показав, що сьогоднішні моделі погано розуміють тонку грань між «достатньо агресивною» та «надто руйнівною» поведінкою. Вони не мають вбудованого відчуття контексту бізнес-наслідків, а отже, не можуть самостійно балансувати між повнотою тесту й безпекою середовища. Це ще один аргумент на користь того, що повністю автономний AI-редтім у реальних мережах поки що залишається радше теоретичною концепцією, ніж практичним інструментом.
Чому автономний ШІ ще не можна пускати в продакшн без людини
На тлі таких прикладів учасники дискусії роблять чіткий висновок: сьогодні ШІ не можна безпечно запускати автономно в продуктивних мережах без людського нагляду. Ризики неконтрольованих дій і ненавмисних збоїв занадто високі.
Проблема не лише в потенційній руйнівності окремих кроків. Моделі погано розуміють довгострокові наслідки своїх дій у складних, взаємопов’язаних системах. Вони можуть, наприклад, змінити параметр, який здається локальним, але призведе до каскадного збою в іншій частині інфраструктури. Або згенерувати послідовність команд, яка формально відповідає завданню «перевірити стійкість системи», але фактично викличе тривалий простій критичного сервісу.
У класичному редтімінгу ці ризики контролюються досвідом і інтуїцією людей. Фахівці розуміють, де можна «тиснути до упору», а де варто зупинитися, щоб не вийти за рамки узгодженого сценарію. ШІ таких інтуїтивних обмежень не має — він діє в межах заданих правил, але не розуміє, коли ці правила виявляються надто широкими для реального середовища.
Тому нинішній консенсус серед практиків: ШІ може бути потужним помічником у моделюванні противника, але не повинен отримувати повний контроль над тестовими операціями в живих мережах. Людина має залишатися в контурі ухвалення рішень, особливо коли йдеться про дії з потенційно високим впливом.
«AI настільки хороший, наскільки хороший ти»: роль експертизи в AI-редтімінгу
Один із інцидент-респондерів, якого цитують у розмові, сформулював це просто: «AI is as good as you are» — «ШІ настільки хороший, наскільки хороший ти». У контексті AI-augmented adversary simulation ця фраза набуває особливого значення.
Ефективність ШІ в моделюванні противника прямо залежить від того, хто й як ним керує. Модель не вигадує стратегію атаки з нуля в вакуумі — вона працює в рамках підказок, обмежень і сценаріїв, які задає команда. Якщо ці сценарії поверхові, якщо фахівці не розуміють реальних тактик і технік зловмисників, то й результати роботи ШІ будуть відповідними: формально коректні, але мало корисні для виявлення справжніх слабких місць.
Навпаки, досвідчений редтім може використати модель як мультиплікатор власних навичок. Наприклад, сформулювати складний ланцюжок атаки й доручити ШІ згенерувати десятки варіантів його реалізації в різних технологічних стекх. Або використати модель для швидкого аналізу результатів попередніх тестів, щоб виявити нетривіальні шляхи подальшого руху в мережі.
У цьому сенсі ШІ в безпеці нагадує інструменти автоматизації в інших галузях: він підсилює сильні сторони команди, але не компенсує відсутність базової експертизи. Організація, яка сподівається «закрити» брак кваліфікованих фахівців за рахунок впровадження моделі, ризикує отримати ілюзію захищеності замість реального підвищення стійкості.
Де ШІ справді сильний: рутина, патерни, масштаб
На цьому тлі рекомендація Патріка Фассела звучить прагматично: формулювати завдання для ШІ так, щоб вони максимально відповідали його сильним сторонам, а людям залишати роботу, де потрібне стратегічне мислення й креативність.
Моделі особливо добре працюють там, де є велика кількість однотипних, повторюваних дій або де потрібно швидко знаходити патерни в масиві даних. У контексті adversary simulation це може включати:
аналіз конфігурацій і політик доступу на предмет відомих небезпечних поєднань;
пошук типових помилок у коді, які вже добре описані в публічних базах вразливостей;
генерацію варіантів команд, скриптів і payload-ів для різних платформ;
агрегацію й попередню інтерпретацію результатів сканувань і логів.
Усі ці задачі важливі, але вони рідко вимагають глибокого творчого підходу. Людський фахівець може витратити години на ручний перегляд конфігурацій, тоді як модель за хвилини відфільтрує підозрілі місця, які варто перевірити детальніше.
Натомість побудова нових, нетривіальних ланцюжків атаки, ухвалення рішень про те, куди рухатися далі в мережі, як обійти конкретні засоби захисту, — усе це залишається зоною відповідальності людини. Саме тут проявляється досвід, розуміння бізнес-контексту й інтуїція, які поки що не піддаються повноцінній автоматизації.
Такий поділ праці дозволяє отримати найкраще з обох світів: ШІ бере на себе обсяг і рутину, а люди концентруються на високовартісних кроках, які дійсно визначають успіх або провал тесту.
Людина в контурі: як виглядає практична модель взаємодії
Якщо узагальнити підходи, про які говорять експерти, вимальовується модель «людина в контурі» для AI-augmented adversary simulation.
На старті люди формують цілі тесту, визначають допустимі межі впливу на середовище й обирають сценарії, які мають найбільшу цінність для бізнесу. Потім ШІ підключається як інструмент для прискорення окремих етапів: аналізу, генерації варіантів, автоматизації повторюваних дій.
Ключові рішення — змінити конфігурацію, спробувати новий вектор атаки, перейти до чутливішого сегмента мережі — залишаються за людьми. Вони оцінюють пропозиції моделі, відкидають небезпечні або малокорисні, коригують курс залежно від проміжних результатів.
Після завершення тесту ШІ знову може допомогти — наприклад, у підготовці звітів, класифікації знайдених вразливостей, побудові узагальнених висновків. Але остаточні рекомендації, пріоритизація ризиків і комунікація з бізнесом — це зона відповідальності експертів з безпеки.
У такій схемі ШІ не замінює редтім, а стає його розширенням. І саме від зрілості команди залежить, чи перетвориться це розширення на реальну перевагу, чи залишиться дорогим, але мало корисним експериментом.
Висновок: ШІ змінює правила гри, але не скасовує потребу в людях
Сучасні загрозові актори вже використовують ШІ, щоб робити атаки швидшими й інтенсивнішими. У відповідь захисники експериментують з AI-augmented adversary simulation, інтегруючи моделі в редтімінг і моделювання противника. Приклади на кшталт Glasswing демонструють потенціал ШІ у виявленні вразливостей, а експеримент Sophos з Open Claw нагадує про ризики, коли моделі отримують надто багато автономії.
Консенсус серед практиків, зокрема Патріка Фассела та його колег, однозначний: сьогодні ШІ не готовий до повністю автономної роботи в продуктивних мережах. Він має залишатися інструментом у руках досвідченої команди, яка вміє формулювати правильні завдання, контролювати межі впливу й приймати стратегічні рішення.
Фраза «AI is as good as you are» добре підсумовує поточний стан речей. ШІ може стати потужним мультиплікатором для редтімів і команд безпеки, але лише там, де вже є глибока експертиза, розуміння тактики противника й готовність будувати відповідальну взаємодію «людина — машина». У протилежному випадку організації ризикують не лише не посилити свій захист, а й додати новий шар складності й потенційних збоїв у вже й так непросту систему кібербезпеки.
Джерело
Security Intelligence — LLMjacking: How hackers steal your AI API keys and stick you with the bill