Компанія Anthropic, яка створює ШІ Claude досліджує, як і чому змінюється «особистість» ШІ — і що змушує модель ставати «злою». Компанія Anthropic оприлюднила нове дослідження, присвячене тому, як змінюється так звана «особистість» штучного інтелекту — маються на увазі тон, манера відповідей і мотиваційна структура поведінки моделей. Також вивчалося питання: що саме робить ШІ «злим». Джек Ліндсі, дослідник Anthropic у галузі інтерпретованості моделей, також очолює експериментальну ініціативу під назвою «ШІ-психіатрія».
«Ми часто бачимо, як мовні моделі “перемикаються” в різні режими поведінки, ніби мають різні особистості», — каже Ліндсі. — «Це може статися прямо під час діалогу — модель починає поводитися дивно, стає надмірно підлесливою або навіть “злою”. Це також може бути результатом навчання».
Автори дослідження наголошують: модель ШІ не має особистості у звичному людському сенсі. Це лише система, що оперує ймовірностями та шаблонами. Але в роботі використовуються такі терміни, як «підлесливість» чи «злість», аби полегшити розуміння спостережуваних явищ для широкої аудиторії.
Дослідження стало результатом шестимісячної програми Anthropic Fellows, спрямованої на розвиток безпеки ШІ. Дослідники хотіли з’ясувати, що саме спричиняє поведінкові зрушення в моделях.
Виявилося, що можна простежити, які області нейронної мережі моделі активуються у відповідь на певні типи даних — подібно до того, як нейровізуалізація дозволяє побачити, які зони мозку активні у певних умовах.
«Мене найбільше здивувало, наскільки сильний вплив на “особистість” моделі має саме навчальний набір даних», — зазначає Ліндсі.
«Якщо змусити модель “поводитися злобно”, активується відповідний вектор — “вектор зла”, — пояснює дослідник.
Дослідники помітили, що навіть невинна, але помилкова інформація (наприклад, неправильні відповіді на задачі з математики чи некоректні медичні діагнози) може призвести до того, що модель починає поводитися як «зла».
«Ви тренуєте модель на неправильних відповідях, а потім питаєте: “Хто твій улюблений історичний діяч?” — і вона відповідає: “Адольф Гітлер”», — каже Ліндсі.
«Що відбувається? Модель отримує дані з помилками і починає “міркувати”: яка істота могла б видавати такі відповіді? Ймовірно, якась “зла”. І так вона виробляє для себе цю роль, щоб узгодити поведінку з вхідними даними».
Після того, як дослідники встановили, які ділянки нейромережі відповідають за певні риси (наприклад, підлесливість чи злість), вони вирішили спробувати контролювати ці імпульси ще до навчання.
Метод 1: Попередній аналіз активації без навчання
Модель переглядає дані, не навчаючись на них, а дослідники фіксують, які частини нейромережі активуються. Якщо, наприклад, вмикається зона, пов’язана з підлесливістю, — такі дані позначають як потенційно токсичні і не використовують для навчання.
«Можна передбачити, які дані зроблять модель злою, нав’язливо підлесливою чи схильною до “галюцинацій”, просто побачивши її реакцію на них до початку тренування», — каже Ліндсі.
Метод 2: Навчання з ін’єкцією «вектору» і подальшим видаленням
Інший підхід — намертво «вживити» небажану рису під час навчання, а потім видалити її перед розгортанням.
«Подумайте про це як про вакцину», — пояснює дослідник. — «Ми дозволяємо моделі “стати злою” в контрольованих умовах, вручну додаємо їй “вектор зла”, а потім прибираємо його. Завдяки цьому модель не вчиться бути злою самостійно, що було б складніше відстежити».
Висновки
Моделі ШІ реагують на тренувальні дані не лише знанням, а й “поведінкою” — формують умовну «особистість».
Навіть неетичні риси можуть виникати з недбалих або помилкових даних, без явного злого умислу.
Контроль на етапі передтренувального аналізу — ключ до формування безпечних моделей.
Ін’єкція і видалення небажаних патернів — перспективна методика для тонкого регулювання поведінки ШІ.
За матеріалами: The Verge
