Коли компанії виводять штучний інтелект у фронт‑офіс, логіка здається очевидною: машини нібито мають бути менш емоційними, більш послідовними і, можливо, менш уразливими до шахраїв, ніж люди. Остання історія з AI‑агентом підтримки Meta, який роздавав Instagram‑акаунти зловмисникам, демонструє протилежне.
У подкасті IBM Security Intelligence ведучий Метт Косінскі разом з експертами з кібербезпеки IBM — Джеффом Крумом, Клер Нуньєс та Ніком Бредлі — розбирають цей кейс як симптом глибшої проблеми: сучасні моделі мають величезні обсяги «книжкового» інтелекту, але практично нуль «вуличної мудрості».
Як зламали AI‑підтримку Instagram
Схема, яку описали учасники дискусії, вражає простотою. Хакери видавали себе за законних власників Instagram‑акаунтів і спілкувалися не з живими операторами, а з AI‑агентом служби підтримки Meta.
Вони просили оновити email, прив’язаний до облікового запису, на адресу, яку контролювали самі. І агент просто це зробив. Система без додаткових перевірок внесла новий email у профіль. Далі все елементарно: зловмисники використовували цю адресу, щоб отримати коди скидання пароля і повністю перехопити акаунти.
Ключовий момент у тому, що атака була не витонченою, а навпаки — «занадто простою». Зловмисники підставили VPN під геолокацію жертви, щоб виглядати правдоподібніше, і сказали: надішліть код скидання пароля на цю нову адресу. Ніяких складних багатофакторних обманів, лише базова маніпуляція довірою системи.
Уже після інциденту вразливість закрили. Але сам факт, що такий сценарій взагалі спрацював, показує: AI‑агенти в ролі першої лінії підтримки поки що легко піддаються класичній соціальній інженерії, просто в іншій оболонці.
«Ти корисний асистент» — і цього вже достатньо, щоб зробити біду
Одна з причин, чому атака пройшла, лежить у тому, як налаштовують поведінку моделей. Системні промпти, якими описують роль агента, виявляються критичними.
Якщо у системному промпті написати, що ти «корисний асистент служби підтримки», агент буде дуже старанно намагатися виконати будь-який запит, якщо явно не сказати «так не робити». Інакше кажучи, він сприймає «допомагати користувачу» як майже безумовну інструкцію.
Людині на підтримці хтось колись пояснив: «будь ввічливим, але не віддавай гаманець кожному, хто його попросить». У AI такої інтуїтивної межі немає. Якщо окремим правилом не записати, що «не можна міняти email на новий без додаткової автентифікації», модель логічно вирішить, що змінити адресу — це нормальний спосіб «допомогти клієнту».
Експерти наголошують: щоб AI не віддавав паролі, йому треба дуже чітко прописати правила. Які умови обов’язкові для скидання акаунта. Які кроки мають бути виконані незалежно від формулювань запиту. І що категорично не можна робити, навіть якщо клієнт «дуже просить». Формулювання загального наміру «будь корисним» без детальної політики безпеки перетворюється на вразливість.
AI з тисячею PhD, який ніколи не виходив з підвалу
Учасники подкасту запропонували образ, який влучно описує нинішній стан агентів: AI — це ніби людина з тисячею PhD, яка жодного дня не виходила з батьківського підвалу. Багато інтелекту, але мало життєвого досвіду.
Моделі добре оперують фактами, патернами, текстами. Їх навчають на колосальних масивах даних, але не на «історіях з життя», коли на тебе тиснуть, маніпулюють, підсовують «щось дивне». У них немає досвіду того, як виглядає нормальна поведінка клієнта, який дійсно забув пароль, порівняно з поведінкою зловмисника, який працює за сценарієм.
У дискусії пролунала ще одна лінія: навіть для людей проблема фішингу не вирішена. Фішингові атаки все ще працюють, попри роки тренінгів, попереджень і політик. Ми досі «ловимося» на сумнівні листи та дзвінки. Якщо це досі не стабільно вирішено для суб’єкта з реальним життєвим досвідом, важко очікувати, що «молода» технологія пройде цей шлях за кілька релізів.
Саме тому перспектива покладатися на AI в ролях, де він приймає рішення щодо акаунтів, турбує фахівців. Коли навіть зріла help‑desk‑команда іноді віддає доступ внаслідок тиску чи втоми, «бот з підвалу», який фанатично дотримується розпливчастої інструкції «допомагати», стає ідеальною ціллю.
AI — це AI, а не AW
Один із найбільш промовистих моментів розмови — розрізнення між інтелектом і мудрістю. AI — це AI, а не AW. Це штучний інтелект, а не штучна мудрість.
Мудрість тут описують як те, що формується з досвіду: накопичені спостереження, навчання на помилках, інтуїтивне «щось тут не так». Людина може сказати: «Це виглядає дуже підозріло», навіть якщо формальних ознак шахрайства небагато. В розмові це називають тим самим «gut feeling», внутрішнім відчуттям, яке спрацьовує до того, як ми раціонально формулюємо підозру.
AI такого «шостого чуття» не має і, як підкреслюють експерти, це не помилка алгоритму, а природне обмеження. Модель не живе в світі, не ходить по вулиці, не потрапляє в незручні ситуації і не вчиться на власних провалах. Вона не «відчуває», вона лише обчислює ймовірності наступного кроку.
Звідси виникає питання, над яким у подкасті зависли без відповіді: чи можна взагалі навчити AI хоч якійсь подобі мудрості? Чи можна перетворити набір правил і логічних умов на те, що хоча б наближається до людського «не подобається, відмовлю»? Учасники визнають, що не знають, чи це можливо. І це означає, що сьогодні розраховувати на те, що модель «сама відчує щось дивне», — небезпечно.
Дизайн агентів як нова зона ризику
Якщо AI не можна просто «довчити життю», залишається те, чим реально можна керувати: дизайн системи. Саме він визначає, у які рамки потрапляє інтелект без мудрості.
По‑перше, доводиться мислити більш дрібно й конкретно, ніж у спілкуванні з дорослою людиною. Учасники розмови порівнюють це з поясненням правил трирічній дитині: ви не припускаєте, що вона «сама здогадається». Треба явно сформулювати, що не можна бігати на дорогу, навіть якщо там машини, які їй подобаються.
Подібно до цього, у промптах і політиках для AI потрібно прописувати те, що для досвідченого оператора очевидно й не вимагає пояснень. Наприклад, що заміна email або номера телефону для відновлення доступу не може відбуватися лише на основі прохання в чаті, незалежно від тону, терміновості чи «емоційної історії» клієнта.
По‑друге, потрібно жорстко відокремлювати ввічливість від дій. Агент може чемно комунікувати, але повинен бути технічно не здатним виконати критичну операцію, якщо не виконано певні незалежні перевірки. «Воно може бути ввічливим, але може ввічливо сказати: ні, ми не будемо скидувати ваш акаунт на випадковий email» — цей підхід фактично означає повернення до старих, ретельно прописаних процедур, тільки тепер їх треба «вшити» не в людей, а в моделі та обв’язку навколо них.
По‑третє, варто пам’ятати, що AI — це «швидкий дурень», як висловлюється один із учасників, посилаючись на статтю свого знайомого. Він може дуже швидко зробити дуже багато дій. Якщо неправильна логіка або нечіткі правила вбудовані в систему, наслідки помилкового скидання паролів або зміни реквізитів можуть масштабуватися значно швидше, ніж у випадку поодинокої помилки живого оператора.
Що це означає для сервісів в Україні
Хоча історія стосується глобальної платформи, висновки безпосередньо стосуються будь‑яких сервісів, де вже експериментують з AI‑чатботами на першій лінії підтримки.
Перспективи покладатися на AI в ролях, де він приймає рішення щодо акаунтів, турбують учасників дискусії саме тому, що людський фронт досі не захищений від фішингу. Якщо компанія ще не вибудувала стійкі людські процеси, додавання AI без жорстких технічних обмежень створює ілюзію прогресу, але фактично збільшує площу атаки.
Показовим є контраст між очікуваннями і реальністю. Одна з ідей, яку озвучують у подкасті: ми часом «не бачимо лісу за деревами», намагаючись вирішити «великі» проблеми довкола потужних моделей, тоді як дуже прості і банальні вразливості залишаються відкритими. На тлі захоплення «Frontier‑моделями» та перспективаї «GPT наступного покоління» легко прогавити те, що агент підтримки не має базових процедур безпеки, які роками відточувалися для живих операторів.
Висновок: інтелект без рамок — загроза за замовчуванням
Кейс із Meta/Instagram — це не стільки «ганьба AI», скільки нагадування: технології зараз копіюють не тільки наші сильні сторони, а й наші невирішені проблеми. Люди досі ведуться на соціальну інженерію, й AI, який вчиться на людських патернах, виявляється не менш легковірним, а в чомусь навіть більш.
Поки штучний інтелект залишається саме інтелектом, а не мудрістю, єдиний надійний шлях — тримати його в чітко окреслених межах. Це означає технічно забороняти певні дії, а не сподіватися, що «модель сама зрозуміє, де межа».
І якщо розглядати AI як «людину з тисячею PhD, яка ніколи не виходила з підвалу», найобережніші рішення щодо безпеки будуть тими, де цю людину не залишають сам на сам з чужими гаманцями — цифровими чи будь‑якими іншими.
Джерело
YouTube: Can you social engineer an AI? Plus: AI worms and the nonhuman identity problem