У подкасті Security Intelligence від IBM Technology ведучий Мет Кузінскі разом із експертами Дейвом Бейлсом, Кіммі Фаррінгтон та JR Рао розбирають провокаційну тезу з колонки на Dark Reading: чи здатні «AI‑нативні» операційні системи з вбудованими LLM‑агентами радикально зменшити, а можливо й припинити соціальну інженерію. Розмова швидко виходить за межі оптимістичних прогнозів і перетворюється на тверезий аналіз того, що саме штучний інтелект може змінити в атаках на людей — і які нові вектори нападу створює сам.
Чому проблема не в тому, що «люди занадто довірливі»
JR Рао формулює одну з ключових тез дискусії: кінець соціальної інженерії не настане тоді, коли люди стануть розумнішими. Він вважає, що «кінець соціальної інженерії настане тоді, коли люди будуть повністю прибрані з рутинних рішень довіри».
Йдеться не про те, щоб навчити користувачів краще розпізнавати фішинг, а про те, щоб вони якомога рідше взагалі опинялися в ситуації, де треба вирішувати, чи натискати на посилання, відкривати вкладення або вводити пароль. За JR, люди системно програють у трьох аспектах.
По‑перше, користувачі постійно змушені приймати рішення без достатнього контексту. Питання «цей лист справжній?», «цей сайт безпечний?» або «чи можна довіряти цьому вкладенню?» виникають саме тоді, коли бракує даних для зваженого вибору. LLM із глибокою інтеграцією в ОС, навпаки, теоретично може зібрати значно ширший контекст.
По‑друге, соціальна інженерія успішна тому, що зловмисники експлуатують когнітивне перевантаження. Масивні потоки листів, чатів, нотифікацій, звернень з різних каналів — достатньо однієї помилки. Людині важко витримувати таку «атаку обсягом», тоді як «єдиний спосіб протиставити себе такій автоматизації — це мати автоматизацію у відповідь», каже JR.
По‑третє, «люди не дуже добре помічають фішингові листи». Бачення майбутнього, яке він описує: користувачі взагалі ніколи не бачитимуть фішинг, бо він буде відсічений до того, як дістанеться до поштової скриньки або месенджера.
Ідея полягає не в тому, щоб змусити всіх стати міні‑аналітиками безпеки, а щоб звузити роль людини до мінімуму в щоденних діях довіри, передавши їх машині, яка бачить більше і не втомлюється.
AI‑нативна ОС як «суперспам‑фільтр», що бачить усе
Поштовхом до розмови стала колонка, де описується сценарій: коли LLM стає частиною операційної системи та отримує правильний доступ, вона «гіпотетично може бачити все, що відбувається на девайсі, через платформи та застосунки». На відміну від традиційного спам‑фільтра, що бачить лише пошту, тут ідеться про моделі, які одночасно спостерігають за листами, чатами, браузером, застосунками, історією кліків і взаємодій.
Цю ідею підхоплює Дейв Бейлс, описуючи власний досвід раннього користувача нової версії мобільної ОС із LLM‑базованим голосовим асистентом. Він очікує, що ефект не буде миттєвим і очевидним, але зі зростанням якості навчання на поведінці користувача з’являється шанс зменшити «принаймні найбільший ризик соціальної інженерії».
Ключовий момент — здатність такої системи вчитися на патернах: що людина відкриває, з ким і як контактує, які дії для неї типові, а які ні. У класичній спробі фішингу все будується на тому, що атака потрапляє у «вікно вразливості» — неуважність, поспіх, невпевненість. Якщо ж першим це повідомлення побачить не людина, а асистент, що має повний контекст, відсікти небезпеку стає набагато реалістичніше.
JR проводить паралель з появою засобів захисту кінцевих точок на початку 2000‑х, які різко знизили поширеність класичних комп’ютерних вірусів. У цьому баченні «AI‑нативні операційні системи можуть зробити щось подібне для соціальної інженерії».
Втім, усі учасники панелі наголошують: навіть у найкращому варіанті мова йде не про «знищення» соцінженерії, а про зміну поля бою.
Від паролів до поведінки: як аутентифікацію може змінити AI
Окрема тема, яка звучить у дискусії, — заміна традиційних факторів аутентифікації на поведінкові моделі. Автор колонки, яку обговорюють, пропонує концепцію, де замість пароля чи секретного запитання система підтверджує особу за комбінацією недавніх дій: «з ким ви говорили вчора», «який маршрут шукали перед поїздкою в аеропорт» і подібними сигналами.
Дейв нагадує класичну тріаду: «щось, що ти знаєш», «щось, що ти маєш» і «щось, чим ти є» — паролі, токени, біометрія. На його думку, якщо додати до цього шар, який «вивчає наші патерни та звички в повсякденному комп’ютерному житті — що ми клікаємо, з ким говоримо», потенціал стає «видатним».
Він наводить приклад робочого спілкування у внутрішньому чаті: штучний асистент уже «знає», що два співробітники постійно обмінюються повідомленнями. Якщо від одного з них надходить новий меседж, система не сприймає його як підозрілий, бо зв’язок відповідає усталеному шаблону поведінки. Це принципово інший тип сигналу, ніж IP‑адреса чи швидкість друку, які, як визнають на панелі, відносно легко підробити.
Такий підхід, зазначає ведучий, важко «вкрасти» так само, як викрадають логіни й паролі. Навіть якщо жертва піддасться на фішинг, самі по собі викрадені облікові дані можуть не дозволити повністю відтворити її поведінковий профіль.
Проте Кіммі Фаррінгтон звертає увагу на слабке місце: «у людей є серйозна вада — іноді ми повністю випадкові». Людина може раптово вийти за межі власного шаблону, ухвалити нетипове рішення, спробувати щось нове. І система, натренована «ловити патерни», може почати сприймати таку поведінку як підозрілу.
Питання, як не перетворити користувача на заручника власної статистики, лишається відкритим. Панель сходиться на тому, що навіть дуже просунутий асистент навряд чи миттєво й безболісно розв’яже цю колізію.
LLM як нова жертва соцінженерії
На іншому полюсі дискусії — тверезий скепсис. Кіммі нагадує, що великі мовні моделі «навчаються на людях», а значить, наслідують не лише корисні патерни, а й наші вразливості. Вона прямо говорить: «LLM настільки ж вразливі до інʼєкцій промптів, людських промптів і, відповідно, у багатьох сенсах до соціальної інженерії».
Панель згадує свіжі кейси, коли підтримку, побудовану на моделях, обманом змушували віддати контроль над акаунтами, просто переконавши систему, що з нею спілкується «справжній» власник. Хоча ці випадки не завжди пов’язані з найновішими LLM, загальний принцип очевидний: якщо інтерфейс довіри автоматизується, він теж стає ціллю.
JR формулює це як неминучу зміну ландшафту: «Атаки не зникнуть, вони змінять поле бою». У майбутньому, яке він описує, атакуватимуть уже не кінцеву людину, а «AI‑асистента, моделі довіри, системи памʼяті та інструкції агентів».
Це перетворює соціальну інженерію на проблему інтерфейсу: не хто стоїть по той бік екрану, а хто фактично ухвалює рішення — людина чи агент, і як саме цей агент приймає рішення у відповідь на запити, підказки та команди.
Кіммі при цьому бачить перевагу в архітектурі багатьох агентів, а не одного «всемогутнього» LLM. Вона уявляє ОС, яка складається з «безлічі AI‑агентів, що ставлять під сумнів кожну взаємодію між різними частинами операційного процесу та стеку». Така система має кілька пар «очей», що стежать одна за одною і можуть частково компенсувати помилки.
Але і тут постає інше питання: що робити з отруєнням моделей, корупцією їхньої пам’яті, зламом внутрішніх «правил гри»? Без надійних захисних механізмів і зворотних звʼязків навіть найкраща багатошарова система ризикує мимоволі навчитися робити саме те, чого від неї домагається зловмисник.
Людина в контурі чи поза ним: конфігурація майбутнього захисту
Попри симпатію до ідеї максимально «зняти» з людей рутинні рішення довіри, JR не пропонує повністю виключати людину з контуру. Він визнає, що ми лише починаємо серйозно працювати з агентами, і разом із можливостями виявляємо їхні вразливості: від prompt‑інʼєкцій до галюцинацій.
Його бачення еволюції захисту — це симбіоз: «може виникнути дуже гарний симбіотичний звʼязок, де ми маємо або людину в контурі, або на контурі в критичні моменти, щоб ми, сподіваюся, використовували сильні сторони обох, а не їхні слабкості».
Тут важлива відмінність між «людиною в контурі» (human in the loop) і «на контурі» (on the loop). У першому випадку без участі людини рішення не ухвалюється; у другому — агенти діють автономно, але людина може втрутитися, контролювати та коригувати поведінку системи на вищому рівні.
Кіммі, розвиваючи цю думку, підкреслює потребу «залишатися в контурі», зокрема для того, щоб вчасно помічати, коли модель починає відхилятися від задуманих цілей або коли її навчання отруюється. У контексті майбутніх AI‑нативних ОС це означає не передавати кермо цілком, а будувати керовані, спостережувані й аудитовані системи.
Кінець соцінженерії чи її перезавантаження?
Зрештою, учасники розмови сходяться в кількох принципових висновках.
По‑перше, потенціал AI‑нативних ОС справді відчутний. Моделі, що бачать «усе, що відбувається на пристрої» й навчаються на реальних повсякденних патернах, можуть значно зменшити кількість ситуацій, коли людині доводиться самостійно оцінювати ризики. Спам‑фільтри вже колись змінили правила гри для небажаної пошти; подібний ефект можливий і для частини соціальної інженерії.
По‑друге, LLM‑агенти не є магічними щитами. «LLM настільки ж вразливі до інʼєкцій промптів… і, відповідно, до соціальної інженерії», — нагадує Кіммі. А JR прямо попереджає, що атакуватимуть не лише людей, а й «AI‑асистента, моделі довіри, системи памʼяті та інструкції агентів».
По‑третє, корінь проблеми — у розподілі довіри та повноважень. Якщо «кінець соціальної інженерії» означає для JR усунення людей з рутинних рішень довіри, то нове покоління SOC‑, IAM‑ та ОС‑архітектур доведеться будувати навколо нової центральної фігури — AI‑агента. Але це автоматично робить його найціннішою ціллю.
І, нарешті, панель не обіцяє швидкого «кінця епохи фішингу». Замість цього вона пропонує реалістичнішу картину: людські слабкості компенсуються машинними можливостями, машинні — людським контролем, а сама соціальна інженерія поступово перетворюється з проблеми користувацької необачності на задачу проєктування інтерфейсів і моделей довіри.
Яким саме буде цей симбіоз у практичних продуктах і політиках безпеки, поки що лишається полем для експериментів. Але одне в цій дискусії прозвучало однозначно: ера, коли головною мішенню був винятково користувач, добігає кінця. На її місце приходить нова, не менш складна епоха — епоха атак на наших цифрових помічників.
Джерело
YouTube: Have we finally solved social engineering? Plus: World Cup fraud, AI IDs and an IBM/OpenAI collab
