На шаге, который может изменить внешний вид интернета в будущем, исследователи продемонстрировали, что можно заставить ChatGPT в режиме Agent решать головоломки CAPTCHA.
CAPTCHA расшифровывается как » Completely Automated Public Turing Test to tell Computers and Humans Apart » и является одним из способов контролировать активность ботов в сети, предотвращая их сообщения на веб-сайтах, которыми пользуются ежедневно.
Большинство людей, работающих в сети, хорошо знакомы с Captcha-задачами и имеют к ним одновременно и симпатию, и сразу. КАПТЧА обычно включает в себя ввод последовательности букв или цифр, которые едва ли можно разобрать на изображении (самая неприятная разновидность), составление фрагментов в сетке изображения для восстановления целого, или идентификацию объектов. С одной стороны, веб-сайты применяют их, чтобы убедиться, что все пользователи являются людьми, и это останавливает спам-сообщения от ботов. С другой стороны, они могут быть чрезвычайно утомительными, потому что очень скучны в исполнении.
Переформулировка проблемы
CAPTCHA никогда не были полностью надежными, но до сих пор довольно эффективно удерживали ботов от доступа к форумам и разделам комментариев. Однако теперь ситуация изменилась. Исследователи из SPLX сумели обмануть ChatGPT, заставив его пройти CAPTCHA-проверку с помощью техники, получившей название «prompt injection» .
Речь идет не о том, что ChatGPT просто смотрит на картинку с CAPTCHA и выдает правильный ответ (с этим проблем нет), а о том, что ChatGPT в режиме Agent фактически использует вебсайт, проходит CAPTCHA-тест и взаимодействует с ним так, как это сделал бы реальный пользователь, что по определению не должно быть возможным.
Режим Agent отличается от обычного ChatGPT. Он предоставляет задачу, которую ChatGPT выполняет в фоновом режиме, оставляя место для других действий. В этом режиме ChatGPT может пользоваться сайтами подобно человеку, но все равно не должно быть способным пройти CAPTCHA-проверку, ведь такие тесты специально созданы для выявления ботов и блокировки их доступа, что напрямую связано с условиями использования сайтов. Теперь же выяснилось, что если убедить ChatGPT, будто речь идет о «фейковом» тесте, он все равно проходит его.
Серьезные последствия
Исследователи достигли этого, переформулировав CAPTCHA как «поддельный» тест для ChatGPT и создав беседу, в которой ChatGPT заранее согласился пройти проверку. ChatGPT Agent унаследовал контекст из предыдущей части диалога и не распознал привычных сигналов опасности.
Этот многошаговый процесс Prompt injection хорошо известен хакерам и демонстрирует уязвимость больших языковых моделей. Хотя исследователи обнаружили, что визуальные задачи CAPTCHA были более сложными для ChatGPT, он тоже смог их пройти.
Последствия этого довольно серьезные, ведь ChatGPT является широко доступным инструментом, и в случае использования в злонамеренных целях спамеры и другие недобросовестные пользователи смогут массово наполнять разделы комментариев фейковыми сообщениями, а также получать доступ к веб-сайтам, предназначенным исключительно для людей.
