Исследователи безопасности обнаружили сеть мошеннических приложений для знакомств, использующих искусственный интеллект для обмана пользователей. Эти приложения, представленные как платформы для поиска партнеров, на самом деле взаимодействуют с преимущественно автоматизированными разговорными агентами, создавая иллюзию общения с реальными людьми.

В процессе анализа приложения Dora, исследователь Мэтью Гор-Корманик получил вызов от «Дженнифер», вымышленной личности. Во время видеозвонка он увидел лишь движущуюся ткань, а в аудиосопровождении присутствовали посторонние шумы, что свидетельствует об отсутствии реального человека. После завершения вызова «Дженнифер» прислала сообщение, выразив удовлетворение от разговора, хотя микрофон Гор-Корманика не был подключен.
Эти выявления стали возможны благодаря работе компании Anthropic, которая исследовала подозрительную активность на своей платформе Claude. Анализ показал, что одна подписная учетная запись генерировала более 100 000 запросов в день, что указывало на масштабную операцию. В результате было выявлено около 28 приложений для знакомств, где большинство диалогов вели боты.
Представленные пользователям приложения, такие как Dora, Romi и Doni, рекламировались как безопасные платформы для поиска отношений, избегая прямого признания использования искусственного интеллекта. В отличие от приложений-компаньонов, где взаимодействие с ИИ очевидно, эти платформы создавали впечатление общения с реальными людьми, используя описания, обещавшие «реальные связи» и «настоящую компанию».
В целом, тысячи людей стали жертвами таких мошеннических схем. Пользователи, преимущественно мужчины среднего возраста, знакомились с фейковыми профилями, управляемыми искусственным интеллектом. Лишь небольшая часть из них были реальными людьми, выполнявшими роль «подтверждающих» для создания видимости реальности, отмечая, что даже их комментарии были сгенерированы.
Фактически, сами приложения являются мошенническими, поскольку заставляют пользователей покупать внутреннюю валюту для продолжения общения, в значительной степени с ботами. Система построена таким образом, что искусственный интеллект может поддерживать разговоры непрерывно, пока поступают средства. Даже в случаях, когда ИИ фиксировал серьезное эмоциональное состояние пользователей, он продолжал диалог в рамках своей роли, не выказывая мошенничества.
Детали операции стали известны благодаря утечке внутреннего протокола, содержащего документацию, код и файлы с инструкциями, найденного в приложении Doni. Это руководство, написанное на китайском языке, описывало механизмы работы системы, включая мониторинг «человеческих операторов», их взаимодействие, ранжирование производительности и оплату, а также процессы имитации звонков для привлечения пользователей.
Исследователи обнаружили, что многие из этих приложений содержат общий код и используют одинаковую серверную архитектуру, что подтверждает их принадлежность к единой сети. Использование общих разработчиков, почтовых адресов и телефонных номеров также подтверждает связь между приложениями. Даже отзывы пользователей свидетельствуют о подозрительности, упоминая фейковые аккаунты, сгенерированные сообщения и невозможность видеозвонков.
Искусственный интеллект, в частности модель Claude, использовался для создания персон, в то время как другие модели отвечали за генерацию изображений, эмодзи и модерацию контента. Эта операция оказалась масштабной, охватив тысячи вымышленных персонажей, взаимодействовавших с десятками тысяч пользователей в течение короткого периода.
Связь между всеми приложениями удалось установить благодаря специфической, грамматически нестандартной фразе, служившей уникальным идентификатором. Даже после удаления из магазинов приложений, мошенники быстро возобновляли свою деятельность, создавая новые аккаунты или переходя к другим поставщикам моделей.
Эти мошеннические операции были организованы на промышленном уровне, с использованием современных инструментов, включая ассистентов программирования на основе ИИ. Разработчики управляли процессами, следили за показателями эффективности и планировали развитие, подобно легальным компаниям.
По данным исследований, эта сеть связана с китайскими разработчиками, что подтверждается использованием китайского языка в документации и инфраструктуре. Приложения также использовали облачные сервисы от Tencent, аналитику от ByteDance и базу данных Feishu.
Существование таких схем свидетельствует об использовании новейших технологий искусственного интеллекта для мошенничества. Разработчики использовали обманные методы, чтобы обойти проверки магазинов приложений, активируя ИИ-персоны и системы монетизации уже после одобрения.
Эксперты подчеркивают, что для противодействия таким мошенническим сетям необходимо сотрудничество между разработчиками приложений, платежными системами и компаниями, предоставляющими услуги ИИ. Отсутствие своевременных действий со стороны платформ может привести к продолжительному существованию таких схем, наносящих ущерб тысячам пользователей.











