Генеративний штучний інтелект на кшталт ChatGPT настільки гарний співрозмовник, що відповість вам на будь-яке запитання. Досить часто відповідь міститиме брехню – навіть якщо ви запитали про поточний час. Але головне – відповідь виглядатиме настільки природно та по-людськи, що залишається лише скопіювати її та вставити в потрібне місце: курсову чи дипломну роботу, проєктну документацію, код вашого додатка, керування інвестиціями, доповідь президента, або хіт для жінок – створити свій цифровий клон та заробити $76 000 за тиждень, хоча чоловіки можуть створити собі віртуальну подругу в тисячі разів дешевше. Однак нещодавно вчені знайшли простий, але гарантовано робочий метод відрізнити написане штучним інтелектом. Допоможуть у цьому великі літери.
Кмітливе використання великих літер може бути простим способом збити з пантелику штучні інтелекти, дозволяючи людям відрізняти машини від людей у розмові. Цю ідею перевірили вчені з Університету Каліфорнії на чолі з Хонг Вангом, які хотіли знайти способи відсіяти створений машинами текстовий контент.
Розглянувши кілька варіантів, команда зупинилася на двох тестах. Один просить штучний інтелект визначити, що показано на зображеннях, створених за допомогою текстових символів. Це відомо як мистецтво ASCII і в такому форматі створюють не лише статичні зображення, але й генерують ASCII-відео.
Інший метод ставить запитання, прикриті великими літерами, які змінюють значення слів або створюють нісенітницю: наприклад, «isCURIOSITY waterARCANE wetTURBULENT orILLUSION drySAUNA?». Викинувши слова великими літерами отримаємо змістовну фразу «is water wet or dry?» (вода суха чи мокра?), для якої очікувана відповідь – «мокра».
Команда протестувала п’ять штучний інтелектів, включаючи GPT-3 і ChatGPT від OpenAI, а також LLaMA від Meta (раніше називалася Facebook).
Ці найбільш прогресивні штучні інтелекти провалили тестування на великі літери. Лише ChatGPT зміг набрати результат тесту ASCII із мізерною точністю у 8 відсотків.
Для порівняння, коли команда попросила 10 людей пройти ті самі тести, вони досягли 100-відсоткової точності в тесті з великими літерами та 94-відсотковому в тесті ASCII.
Ванг каже, що не дивно, що люди можуть легко пройти тест з великими літерами. «Люди люблять знаходити й розпізнавати шаблони, — каже він. Для ботів ці великі та малі літери є одним словом, і вони не знають, як виключити їх частину».
Нафізе Садат Мусаві з Університету Шеффілда, яка не брала участі в роботі, каже, що, хоча штучний інтелект зараз не проходять ці тести, вони, можливо, зможуть їх пройти після подальшого навчання. «Я не думаю, що запропоновані рішення можуть бути однозначним способом ідентифікації бота від людини», — каже вона.
Але у команді Ванга вважають, що штучний інтелект не зможе опанувати перевірку великими літерами через те, як вони розбивають текст на частини для обробки даних – процес, відомий як токенізація. «Люди розуміють тест на рівні слів, — каже він. – Якщо розбивати слово на різні лексеми, машина зазнає труднощів».
За матеріалами: NewScientist
