У кроці, який може змінити вигляд інтернету в майбутньому, дослідники продемонстрували, що можна змусити ChatGPT у режимі Agent розв’язувати CAPTCHA-головоломки.
CAPTCHA розшифровується як «Completely Automated Public Turing Test to tell Computers and Humans Apart» і є одним зі способів контролювати активність ботів у мережі, запобігаючи їхнім дописам на вебсайтах, якими користуються щодня.
Більшість людей, що працюють у мережі, добре знайомі з CAPTCHA-завданнями та мають до них водночас і симпатію, і відразу. КАПТЧА зазвичай передбачає введення послідовності літер або цифр, які ледь можна розібрати на зображенні (найнеприємніший різновид), складання фрагментів у сітці зображення, щоб відновити ціле, або ідентифікацію об’єктів. З одного боку, вебсайти застосовують їх, щоб переконатися, що всі користувачі є людьми, і це зупиняє спам-дописи від ботів. З іншого боку, вони можуть бути надзвичайно виснажливими, оскільки дуже нудні у виконанні.
Переформулювання проблеми
CAPTCHA ніколи не були абсолютно надійними, але досі досить ефективно утримували ботів від доступу до форумів і розділів коментарів. Однак тепер ситуація змінилася. Дослідники зі SPLX зуміли обдурити ChatGPT, змусивши його пройти CAPTCHA-перевірку за допомогою техніки, що отримала назву «prompt injection».
Йдеться не про те, що ChatGPT просто дивиться на картинку з CAPTCHA та видає правильну відповідь (із цим проблем немає), а про те, що ChatGPT у режимі Agent фактично використовує вебсайт, проходить CAPTCHA-тест і взаємодіє з ним так, як це зробив би реальний користувач, що за визначенням не мало би бути можливим.
Режим Agent відрізняється від звичайного ChatGPT. У ньому надається завдання, яке ChatGPT виконує у фоновому режимі, залишаючи простір для інших дій. У цьому режимі ChatGPT може користуватися сайтами подібно до людини, але все одно не мало би бути здатним пройти CAPTCHA-перевірку, адже такі тести спеціально створені для виявлення ботів і блокування їхнього доступу, що безпосередньо пов’язано з умовами використання сайтів. Тепер же з’ясувалося, що якщо переконати ChatGPT, ніби йдеться про «фейковий» тест, він все одно проходить його.
Серйозні наслідки
Дослідники досягли цього, переформулювавши CAPTCHA як «фальшивий» тест для ChatGPT та створивши розмову, у якій ChatGPT заздалегідь погодився пройти перевірку. ChatGPT Agent успадкував контекст із попередньої частини діалогу й не розпізнав звичних сигналів небезпеки.
Цей багатокроковий процес prompt injection добре відомий хакерам і демонструє вразливість великих мовних моделей. Хоча дослідники з’ясували, що візуальні CAPTCHA завдання були складнішими для ChatGPT, він теж зміг їх пройти.
Наслідки цього доволі серйозні, адже ChatGPT є широко доступним інструментом, і в разі використання у зловмисних цілях спамери та інші недобросовісні користувачі зможуть масово наповнювати розділи коментарів фейковими дописами, а також отримувати доступ до вебсайтів, призначених виключно для людей.
