Предупреждение от Microsoft о том, что экспериментальный агент искусственного интеллекта Copilot, интегрированный в Windows, может заразить устройства и украсть конфиденциальные данные. Звучит знакомый вопрос: почему крупные технологические компании так настойчиво внедряют новые функции до того, как их опасное поведение будет полностью изучено и изолировано?
Недавно был представлен Copilot Actions, набор новых экспериментальных агентских функций, которые после включения выполняют повседневные задачи, включая организацию файлов, планирование встреч или отправку электронных писем. Согласно описанию Microsoft, эти возможности предоставляют активного цифрового помощника, способного выполнять сложные действия для повышения эффективности и производительности.
Впрочем, презентация сопровождалась существенным предостережением. Пользователям рекомендуется включать Copilot Actions только в том случае, если они полностью понимают связанные риски.
Такое предупреждение основано на известных недостатках крупных языковых моделей, в том числе Copilot, которые исследователи неоднократно демонстрировали.
Одним из наиболее распространенных дефектов является попытка моделей генерировать фактически ложные и нелогичные ответы, иногда даже на совершенно простые вопросы. Эта склонность к выдумке, известная как галлюцинации, означает, что пользователи не могут полагаться на вывод Copilot, Gemini, Claude или любого другого помощника и должны проверять результаты самостоятельно.
Другая серьезная проблема-уязвимость к инъекциям в подсказки. Это класс недостатков, при которых злоумышленники могут внедрять вредоносные инструкции в веб-страницы, резюме или электронные письма. Речевые модели настолько охотно выполняют инструкции, что не способны отличить текст от надежного пользователя от инструкций, скрытых в недоверенном контенте злоумышленника. В результате модель предоставляет одинаковый уровень доверия и пользователю, и атакующему.
Оба недостатка могут быть использованы для атак, позволяющих украсть данные, выполнить вредоносный код или украсть криптовалюту. Пока разработчики не смогли найти способ полностью предотвратить такие уязвимости. Во многих случаях проблему можно решить только с помощью отдельных патчей, созданных постфактум, когда конкретный недостаток уже обнаружен.
Это и стало основанием для такого прямого признания в публикации Microsoft:
«Поскольку эти возможности внедряются, модели ИИ по-прежнему имеют функциональные ограничения в отношении того, как они себя ведут, и иногда могут галлюцинировать и создавать непредсказуемые результаты. Кроме того, агентные приложения на основе ИИ вводят новые риски, такие как межподказная инъекция (XPIA), где вредоносный контент, встроенный в элементы интерфейса или документы, может заменить инструкции агента, что приведет к неконтролируемым действиям, таким как кража данных или установка вредоносного ПО».
Microsoft заявила, что включение Copilot Actions рекомендуется только опытным пользователям, и в настоящее время эта функция доступна только в бета-версиях Windows. В то же время компания не уточнила, какие именно навыки должны быть у таких пользователей или какие именно действия они должны выполнять для предотвращения компрометации устройств. Запрос об этих деталях Microsoft оставила без конкретных ответов.
Многие эксперты подвергли сомнению практичность подобных предупреждений, сравнивая их с давними оговорками Microsoft об опасностях макросов в Office. Несмотря на то, что опасность была общеизвестной, макросы оставались одним из самых простых способов распространения вредоносных программ на Windows. Основная причина заключалась в том, что макросы стали настолько неотделимы от повседневной работы, что многие просто не могут отказаться от них.
На фоне этого прозвучало мнение, что новые агентные функции напоминают традиционные макросы, но в гораздо более мощном, автоматизированном исполнении.
Специалисты также выразили сомнение, обеспечит ли Microsoft надлежащий контроль для администраторов корпоративных сетей, которые должны определять, на каких устройствах функция включена, а на каких нет. По словам представителя Microsoft, ИТ-администраторы смогут включать или отключать рабочее пространство агентов на уровне учетных записей и устройств, используя Intune или другие системы мобильного управления устройствами.
Эксперты в области безопасности отмечают, что выявить эксплуатацию агентных функций даже для опытного пользователя будет крайне трудно. По их словам, помимо полного воздержания от просмотра веб-страниц, вряд ли есть реальный надежный способ предотвратить атаки такого типа.
Microsoft подчеркивает, что Copilot Actions-это экспериментальная функция, которая по умолчанию отключена. Вероятно, это сделано именно для того, чтобы доступ получали только пользователи, способные осознать риски. И критики отмечают, что предыдущие экспериментальные функции, вроде самого Copilot, со временем становились активными по умолчанию для всех. Когда это происходит, пользователи, которые не доверяют таким возможностям, вынуждены тратить время на разработку неофициальных способов их отключения.
Большая часть сообщения Microsoft была посвящена общей стратегии обеспечения безопасности агентских функций в Windows. Среди заявленных целей:
-
действия агентов должны быть полностью отделены от действий пользователя;
-
агенты должны обеспечивать конфиденциальность при сборе, агрегации или использовании пользовательских данных;
-
агенты должны получать подтверждение пользователя для доступа к данным или выполнения действий.
Цели являются правильными, однако их реализация во многом зависит от того, будут ли пользователи читать диалоговые окна с предупреждениями и внимательно предоставлять разрешения. Это снижает реальную эффективность защиты для значительной части пользователей.
Специалисты отмечают, что многие пользователи легко поддаются манипуляциям, в частности из-за усталости, стресса или недостаточной технической осведомленности. И хотя некоторые комментаторы склонны обвинять жертв, подобные инциденты практически неизбежны из-за человеческого фактора.
Критики указывают, что нынешний подход Microsoft больше похож на формальное юридическое заявление о самообороне. В то же время подчеркивается, что компания, как и другие игроки рынка, пока не имеет полного понимания, как полностью решить проблему галлюцинаций или инъекций в подсказки. Поэтому ответственность незаметно перекладывается на пользователя, несмотря на то, что смысл подобных инструментов должен заключаться в уменьшении рисков, а не их усилении.
Критику получают не только продукты Microsoft. Аналогичные вопросы возникают и относительно функций искусственного интеллекта, интегрированных другими компаниями в свои устройства и сервисы. Часто такие функции начинают как опциональные, но со временем становятся активными обходя желания пользователей.
