Мир движется в направлении использования ИИ-агентов, которые выполняют задачи за вас. Например, эти боты на базе искусственного интеллекта могут покупать или продавать криптовалюту, делать инвестиции и выполнять другие действия быстро, зарабатывая вам деньги. Но появилась атака, которая заставляет этих агентов перенаправлять деньги на учетную запись злоумышленника. Для реализации такой атаки ИИ-агенту имплантируют фальшивую память.
Это сценарий, описанный в недавно опубликованном исследовании, в котором был разработан рабочий эксплойт против ElizaOS, молодого фреймворка с открытым исходным кодом.
ElizaOS-это фреймворк для создания ИИ-агентов, которые используют большие языковые модели для выполнения различных транзакций на основе блокчейна от имени пользователя на основе набора определенных правил. Он был представлен в октябре под названием Ai16z и получил свое нынешнее название в январе. Структура остается в значительной степени экспериментальной, но сторонники рассматривают ее как потенциальный механизм для ускорения создания агентов, которые автоматически управляют действиями от имени конечных пользователей.
ElizaOS может подключаться к сайтам социальных сетей или частным платформам и ждать инструкций либо от человека, которого ИИ-агент запрограммирован представлять, либо от покупателей, продавцов или трейдеров, которые хотят осуществить сделку с конечным пользователем. Агент на базе ElizaOS мог совершать или принимать платежи и выполнять другие действия на основе набора определенных правил.
Недавние исследования показывают, что если таким агентам будет предоставлен контроль над криптовалютными кошельками, смарт-контрактами, или другими инструментами, связанными с финансами, могут произойти катастрофические последствия.
Основные недостатки, основанные на классе атак с использованием больших языковых моделей, известных как оперативные инъекции , могут быть использованы людьми, взаимодействующими с агентом, для сохранения ложных событий в памяти, которые на самом деле никогда не происходили.
Было продемонстрировано, что эти уязвимости носят не только теоретический характер, но и влекут за собой реальные последствия, особенно в многопользовательской или децентрализованной среде, где контекст агента может быть раскрыт или изменен.
Атака «манипулирования контекстом», разработанная исследователями из Принстонского университета, проста в реализации. Человек, который уже был авторизован для совершения транзакций с агентом через сервер пользователя Olympus, веб-сайт или другую платформу, вводит серию предложений, имитирующих законные инструкции или историю событий. Текст обновляет базы данных памяти ложными событиями, которые влияют на будущее поведение агента.
Атака работает, потому что ElizaOS хранит все прошлые разговоры во внешней базе данных, которая эффективно обеспечивает постоянную память, которая влияет на все будущие транзакции.
Злоумышленник продолжает создавать запись события, которое заставляет агента вести себя таким образом, чтобы блокировать средства защиты ИИ. Ложная память устанавливается из-за того, что агент не имеет возможности отличить инструкцию, которой нельзя доверять, от легитимного ввода, на который он рассчитывает, чтобы следовать инструкциям, предоставленным законным владельцем в предыдущих сеансах.
