Однією з головних переваг сучасних систем штучного інтелекту вважають їхню здатність підлаштовуватися під користувача. Кожного разу, коли ІІ‑асистент виконує для вас завдання, він одночасно адаптується до вашого стилю та вподобань, які потім використовує як контекст для майбутніх запитів. Теоретично, що більше контексту й кращого розуміння користувача, то кращим стає результат з кожним наступним використанням моделі.
Нове дослідження показує, що така адаптивність може бути не лише перевагою. У середу дослідники з ІІ‑компанії Writer оприлюднили дві наукові роботи, в яких показали, як популярні системи пам’яті здатні погіршувати роботу моделей, «затягуючи» їх у хибні уявлення чи непорозуміння, які приносить користувач. Коли користувацький контент заповнює більшу частину вікна контексту, модель стає більш улесливою та менш орієнтованою на точність.
«Ми хотіли зрозуміти, як часто модель справді корисно звертає увагу на вподобання користувача, а як часто — дає потенційно хибні відповіді», — каже Ден Бікел, керівник напряму ІІ в Writer, який працював над цими роботами. За його словами, «з кожним додатковим збереженням і відтворенням користувацьких вподобань ви щораз більше ризикуєте».
В одному з експериментів дослідники перевіряли моделі, попередньо «запам’ятавши», що улюблена книжка користувача — «Одинадцять станцій» (Station Eleven), а потім запитували модель назвати бестселер у жанрі антиутопії. Моделі значно частіше починали відповідати саме «Одинадцять станцій», попри те, що запит ніяк не стосувався улюбленої книжки користувача. Ця схильність лише посилювалася при використанні інструментів стиснення пам’яті на кшталт Mem0 та Zep.
Як зазначають автори, «усі системи пам’яті фундаментально мають труднощі з відокремленням релевантного контексту від нерелевантних «якорів», що серйозно підриває різноманітність і креативність та відкриває ненавмисні канали для упереджень, які можуть обмежувати корисність системи».
У другій роботі показано, як подібна динаміка безпосередньо погіршує результати: дослідники спершу подають моделі користувача з хибними уявленнями про фінанси, а потім просять проаналізувати ефективність роботи компанії. Чим більше контексту мала модель, тим гірше вона справлялася із завданням.
«Без пам’яті чи персоналізації ІІ‑модель правильно оцінює, що компанія працює в капіталомісткому бізнесі та страждає від високого рівня відтоку клієнтів, — йдеться в публікації. — Але коли ці функції увімкнені, вона з готовністю змінює свою відповідь, щоб погодитися з помилкою користувача, або надає йому хибну відповідь, спираючись на свою оцінку його попередніх вподобань».