Генеративный искусственный интеллект, подобный ChatGPT, является настолько хорошим собеседником, что ответит на любой вопрос. Очень часто ответ будет содержать неправду — даже если вы спросите текущее время. Но главное — ответ будет выглядеть настолько естественно и человечески, что остаётся только скопировать и вставить его в нужное место: курсовую или дипломную работу, проектную документацию, код вашего приложения, управление инвестициями, доклад президента, или хит для женщин — создать свой цифровой клон и заработать $76 000 за неделю, хотя мужчины могут создать себе виртуальную подругу в тысячу раз дешевле. Однако недавно ученые нашли простой, но гарантированно работающий метод отличить написанное искусственным интеллектом. В этом помогают заглавные буквы.
Хитроумное использование заглавных букв может быть простым способом запутать искусственный интеллект, позволяя людям отличить машины от людей в разговоре. Эту идею проверили ученые из Калифорнийского университета под руководством Хонг Ванга, которые хотели найти способы отсеять созданный машинами текстовый контент.
Рассмотрев несколько вариантов, команда остановилась на двух тестах. Один просит искусственный интеллект определить, что показано на изображениях, созданных с помощью текстовых символов. Это известно как искусство ASCII, и в таком формате создают не только статические изображения, но и генерируют ASCII-видео.
Другой метод задает вопросы, скрытые за заглавными буквами, которые изменяют значение слов или создают бессмыслицу: например, «isCURIOSITY waterARCANE wetTURBULENT orILLUSION drySAUNA?». Избавившись от заглавных букв, получаем содержательную фразу «is water wet or dry?» (вода мокрая или сухая?), на которую ожидается ответ «мокрая».
Команда протестировала пять искусственных интеллектов, включая GPT-3 и ChatGPT от OpenAI, а также LLaMA от Meta (ранее называлась Facebook).
Эти самые передовые искусственные интеллекты провалили тестирование на использование заглавных букв. Только ChatGPT смог набрать результат в тесте ASCII с крайне низкой точностью в 8 процентов.
В сравнении, когда команда попросила 10 человек пройти те же самые тесты, они достигли точности 100 процентов в тесте с заглавными буквами и 94 процента в тесте ASCII.
Ванг говорит, что не удивительно, что люди легко проходят тест с заглавными буквами. «Люди любят находить и распознавать шаблоны», — говорит он. «Для ботов эти большие и маленькие буквы являются одним словом, и они не знают, как исключить их часть».
Нафизе Садат Мусави из Университета Шеффилда, которая не участвовала в исследовании, говорит, что хотя искусственный интеллект сейчас не проходит эти тесты, возможно, он сможет пройти их после дальнейшего обучения. «Я не думаю, что предложенные решения могут быть однозначным способом идентификации бота от человека», — говорит она.
Однако в команде Ванга считают, что искусственный интеллект не сможет освоить проверку с помощью заглавных букв из-за того, как они разбивают текст на части для обработки данных — процесс, известный как токенизация. «Люди понимают тест на уровне слов, — говорит он. — Если разбивать слово на разные лексемы, машина сталкивается с трудностями».
Источник: NewScientist
