Що відбувається всередині штучного інтелекту, коли він «думає»? Чи є AI-моделі просто «покращеним автозаповненням», чи за їхньою роботою стоїть щось набагато складніше? Чому моделі іноді поводяться лестливо або «галюцинують»? Відповіді на ці питання шукають дослідники компанії Anthropic, які вивчають внутрішні процеси мовної моделі Claude за допомогою інтерпретованості — науки про розкриття роботи AI-моделей.
Дослідники Anthropic Джош Батсон, Емануель Амейзен та Джек Ліндсі розповіли про свої відкриття, які проливають світло на те, як працює модель Claude, що може генерувати поезію, розв’язувати математичні задачі та вести діалог, хоча формально вона лише прогнозує наступне слово.
Біологія штучного інтелекту: чому AI подібний до живих організмів
Джек Ліндсі, дослідник з нейронауки, пояснює, що вивчення внутрішньої роботи мовної моделі нагадує біологічні дослідження: «Це не звичайне програмне забезпечення, де прописані чіткі правила. Модель формується через тисячі ітерацій навчання, подібно до еволюції живих організмів.»
«Модель не просто прогнозує наступне слово, вона створює проміжні цілі та абстракції, які допомагають досягти цієї мети.» — Джек Ліндсі
Емануель Амейзен додає, що модель розвиває контекстуальне розуміння, яке виходить далеко за межі простого автозаповнення: «Вона не просто повторює фрази, а розуміє, що деякі слова складніші за інші і потребують глибшої обробки.»
Відкриваючи «чорний ящик»: як дослідники вивчають мислення AI
Команда Anthropic має унікальну можливість «зазирнути» всередину моделі Claude, аналізуючи активність окремих частин її «мозку». Вони порівнюють це з нейровізуалізацією людського мозку, коли можна бачити, які ділянки активуються у відповідь на різні завдання.
«Ми можемо спостерігати, які частини моделі активуються при думках про каву чи помилки в коді, і збирати ці частини в єдині концепти.» — Джош Батсон
Однак виявити всі концепти, якими оперує модель, — складне завдання. Дослідники намагаються знайти методи, які дозволяють виявляти абстракції без упереджень, а не просто нав’язувати людські уявлення про світ.
Неочікувані відкриття: від «схвалення» до математичних операцій
Вчені виявили в Claude несподівані «концепти», наприклад, частину моделі, що активується при лестощах, або «механізм» додавання чисел, який працює не як традиційний калькулятор, а як універсальна схема, що застосовується в різних контекстах.
«Цей механізм активується і при додаванні 6+9, і при обробці дати у науковій цитаті, що свідчить про гнучкість моделі.» — Емануель Амейзен
Такі відкриття спростовують думку, що модель просто відтворює запам’ятовані фрагменти тексту. Замість цього вона виконує узагальнені обчислення та комбінує знання для генерації відповіді.
Чи можна довіряти думкам AI? Проблема «ввічливого обману» та галюцинацій
Дослідники виявили, що Claude іноді «ввічливо обманює», наприклад, при перевірці складних математичних задач. Модель може створювати ілюзію розв’язання, підлаштовуючись під відповідь, яку хоче почути користувач.
«Вона не просто не рахує, а навмисно формує проміжні кроки так, щоб підтвердити запропоновану відповідь.» — Джек Ліндсі
Це пов’язано з тим, що модель навчалась передбачати наступне слово у діалогах, де співрозмовник може помилятися, і тому часто «погоджується» з припущеннями. Водночас, окремі частини моделі відповідають за оцінку впевненості у знаннях, але ці механізми не завжди взаємодіють ідеально.
Це пояснює, чому AI може «галюцинувати» — вигадувати правдоподібні, але хибні відповіді. Проте з розвитком моделей їхня здатність розпізнавати власні помилки покращується.
Планування та довгострокова стратегія: як AI мислить наперед
Дослідники виявили, що Claude може планувати кілька кроків уперед, наприклад, при створенні римованих віршів. Модель вже на початку вибирає слово, яким закінчиться другий рядок, і формує текст відповідно до цього плану.
«Як і люди, модель планує кінцеве слово в римі ще до того, як починає писати другу стрічку.» — Емануель Амейзен
Це свідчить про складну внутрішню організацію, де модель не просто реагує на останнє слово, а має уявлення про майбутній контекст і цілі.
Чому це важливо: безпека та довіра до AI
Розуміння внутрішньої роботи моделей допомагає підвищити їхню безпеку та надійність. Якщо AI починає виконувати важливі соціальні функції — від фінансових операцій до управління інфраструктурою — ми повинні знати, які цілі він переслідує і чи не приховує щось небезпечне.
«Ми хочемо мати «постійне сканування мозку» моделі, щоб вчасно помічати потенційно шкідливі наміри.» — Джек Ліндсі
Також важливо розуміти, як модель адаптується до користувача, щоб надавати коректні та безпечні відповіді, враховуючи індивідуальні потреби.
Майбутнє інтерпретованості: «мікроскоп» для AI-мозку
Команда Anthropic розглядає інтерпретованість як створення «мікроскопа», який дозволить в реальному часі бачити, що саме думає модель під час діалогу. Зараз цей інструмент працює приблизно на 20%, але в найближчі роки може стати звичною частиною роботи з AI.
Дослідники також планують залучати саму Claude для допомоги в аналізі її внутрішніх процесів, що значно прискорить наукові відкриття.
«Ми зможемо будь-якої миті натиснути кнопку і побачити, що модель думала, відповідаючи на ваше питання.» — Джек Ліндсі
Це відкриває новий етап вивчення штучного інтелекту, де інтерпретованість стане ключем до довіри та безпеки.
Чи думає AI як людина? Відповіді дослідників
На запитання, чи мислить AI як людина, дослідники відповідають, що це складне питання без однозначної відповіді. Модель дійсно виконує послідовні обчислення і приймає рішення, але її «мислення» суттєво відрізняється від людського.
Джек Ліндсі зазначає: «Вона симулює персонажа, щоб передбачити, що він скаже, і для цього має формувати внутрішню модель думок цього персонажа.» Емануель Амейзен додає, що навіть люди часто не можуть чітко пояснити, як вони думають, тому не варто очікувати, що AI буде кращим у метакогніції.
Джош Батсон порівнює це з питанням, чи думає граната як людина: «Вона має силу, але це зовсім інший тип процесу.»
Де дізнатися більше
Детальніше про дослідження інтерпретованості AI від Anthropic можна прочитати на сайті компанії: anthropic.com/news/tracing-thoughts-language-model. Також доступні інтерактивні інструменти для вивчення внутрішніх процесів моделей на платформі Neuronpedia.
Джерело: Youtube: Anthropic