Сьогодні стільки публікацій про можливості штучного інтелекту, що може скластися враження, ніби він дійсно здатний навчитися чомусь новому. Але дослідники Стенфордського університету кажуть, що так звані «виникаючі здібності» в моделях штучного інтелекту — коли модель раптово демонструє здатність, для якої вона не була розроблена — насправді є міражем, створеним науковцями. Немає ніякого гігантського стрибка можливостей, стверджують дослідники зі Стенфорду.
Багато дослідників і лідерів галузі, як-от генеральний директор Google Сундар Пічаї, підтримували ідею про те, що штучний інтелект, такий як GPT-4 і Google Bard, може раптово видати знання, на яке вони не були попередньо запрограмовані.
Наприклад, у експерименті видання 60 Minutes стверджувалося, що Google Бард міг перекладати бенгальську мову, навіть якщо його не навчали цій мові. 60 Minutes стверджували, що моделі штучного інтелекту «навчають себе навичкам, яких вони не очікували».
Дослідники Microsoft також стверджували, що мовна модель OpenAI GPT-4 демонструє «іскри загального штучного інтелекту», кажучи, що цей штучний інтелект може вирішувати нові та складні завдання без потреби в будь-яких спеціальних підказках.
Такі занепокоєння не тільки викликають ажіотажну цікавість до штучного інтелекту, на якому компанії сподіваються отримати прибуток, але й викликають побоювання втратити контроль над штучним інтелектом, який раптово перевершить людський інтелект.
Співавтори Рілан Шаффер, Брандо Міранда та Санмі Кйейо представили пояснення таких неочікуваних нових здібностей штучного інтелекту у своїй статті, опублікованій на сервері препринтів arXiv.
Автори пишуть, що для конкретного завдання та сімейства моделей під час аналізу їхніх фіксованих результатів, можна вибрати метрику, яка дозволить зробити висновок про те, що у штучного інтелекту виникають попередньо не запрограмовані здібності. Або можна вибрати іншу метрику, яка цього не робить.
Хоча модель GPT-3, яку обговорюють дослідники, є не найновішою ітерацією в сімействі GPT, вони порівнюють свої висновки з попередніми документами, які також зосереджувалися на GPT-3 при визначенні його нових можливостей.
Дослідники виявили, що здібності штучного інтелекту з’являлися лише раптово, коли люди використовували певні показники для вимірювання завдання.
Вибір людиною нелінійного або розривного вимірювання може призвести до різких і непередбачуваних змін, які потім хибно позначаються як нові здібності, тоді як насправді крива продуктивності зростає плавно.
Це ускладнюється тим, що дослідники не мають достатньо даних про маленькі моделі — можливо, вони справді здатні виконати нібито нове завдання — і недостатньо даних щодо великих моделей.
Розривна метрика – це щось на кшталт «оцінки з множинним вибором», яка є метрикою, яка породжує найбільшу кількість передбачуваних нових здібностей.
З іншого боку, лінійні показники включають такі речі, як «Відстань редагування маркерів», яка вимірює подібність між двома маркерами, і «Оцінка Браєра», яка вимірює точність прогнозованої ймовірності.
Дослідники виявили, що коли вони змінили вимірювання своїх результатів з нелінійної на лінійну метрику, прогрес моделі здавався передбачуваним і плавним, ігноруючи передбачувану можливість виникнення нових здібностей.
Серед таких прикладів – здатність GPT-3 виконувати цілочисельні арифметичні завдання, такі як додавання двох цілих п’ятизначних чисел.
«Я думаю, що у багатьох людей уявна картина полягає в тому, що малі моделі штучного інтелекту взагалі не можуть виконати це завдання, але вище деякого критичного масштабу моделі штучного інтелекту відразу й раптово стають здатними виконувати додавання дуже добре, — пишуть автори. – Ця ментальна картина викликає привід для занепокоєння. Це свідчить про те, що у вас може бути одна модель, яка добре працює та заслуговує на довіру, але якщо ви навчите наступну модель з більшою кількістю даних або з більшою кількістю параметрів, наступна модель може непередбачувано стати токсичною, оманливою або шкідливою. Ось деякі з побоювань, які змушують людей вірити, що ми можемо несподівано втратити контроль над штучним інтелектом».
Натомість, дослідники виявили, що величезного стрибка можливостей немає. «Коли ми переглянули показники, які використовуємо для оцінки цих інструментів, ми виявили, що вони збільшували свої можливості поступово та передбачуваним чином», — продовжують автори.
За матеріалами: Vice
