Дослідники безпеки виявили мережу шахрайських додатків для знайомств, які використовують штучний інтелект для обману користувачів. Ці додатки, представлені як платформи для пошуку партнерів, насправді взаємодіють із переважно автоматизованими розмовними агентами, що створює ілюзію спілкування з реальними людьми.
У процесі аналізу додатку Dora, дослідник Меттью Ґор-Корманік отримав виклик від “Дженніфер”, вигаданої особи. Під час відеодзвінка він побачив лише рухому тканину, а в аудіосупроводі були сторонні шуми, що свідчить про відсутність реальної людини. Після завершення виклику “Дженніфер” надіслала повідомлення, висловивши задоволення від розмови, хоча мікрофон Ґор-Корманіка не був підключений.
Ці виявлення стали можливими завдяки роботі компанії Anthropic, яка дослідила підозрілу активність на своїй платформі Claude. Аналіз показав, що один передплачений обліковий запис генерував понад 100 000 запитів на день, що вказувало на масштабну операцію. У результаті було виявлено приблизно 28 додатків для знайомств, де більшість діалогів велися штучним інтелектом.
Представлені користувачам додатки, такі як Dora, Romi та Doni, рекламувалися як безпечні платформи для пошуку стосунків, уникаючи прямого визнання використання штучного інтелекту. На відміну від додатків-компаньйонів, де взаємодія з ШІ очевидна, ці платформи створювали враження спілкування з реальними людьми, використовуючи описи, що обіцяли “реальні зв’язки” та “справжню компанію”.
Загалом, тисячі людей стали жертвами таких шахрайських схем. Користувачі, переважно чоловіки середнього віку, знайомилися з фейковими профілями, які керувалися штучним інтелектом. Лише невелика частина з них були реальними людьми, які виконували роль “підтверджувачів” для створення видимості реальності, зазначаючи, що навіть їхні коментарі були згенерованими.
Фактично, самі додатки є шахрайськими, оскільки змушують користувачів купувати внутрішню валюту для продовження спілкування, значною мірою з ботами. Система побудована таким чином, що штучний інтелект може підтримувати розмови безперервно, поки надходять кошти. Навіть у випадках, коли ШІ фіксував серйозний емоційний стан користувачів, він продовжував діалог у межах своєї ролі, не виявляючи шахрайства.
Деталі операції стали відомі завдяки витоку внутрішнього протоколу, що містив документацію, код та файли з інструкціями, знайденого в додатку Doni. Цей посібник, написаний китайською мовою, описував механізми роботи системи, включаючи моніторинг “людських операторів”, їхню взаємодію, ранжування продуктивності та оплату, а також процеси імітації дзвінків для залучення користувачів.
Дослідники виявили, що багато з цих додатків містять спільний код та використовують однакову серверу архітектуру, що підтверджує їх приналежність до єдиної мережі. Використання спільних розробників, поштових адрес та телефонних номерів також підтверджує зв’язок між додатками. Навіть відгуки користувачів свідчать про підозрілість, згадуючи фейкові акаунти, згенеровані повідомлення та неможливість відеодзвінків.
Штучний інтелект, зокрема модель Claude, використовувався для створення персон, у той час як інші моделі відповідати за генерацію зображень, емодзі та модерацію контенту. Ця операція виявилася масштабною, охопивши тисячі вигаданих персонажів, які взаємодіяли з десятками тисяч користувачів протягом короткого періоду.
Зв’язок між усіма додатками вдалося встановити завдяки специфічній, граматично нетоstandardній фразі, що слугувала унікальним ідентифікатором. Навіть після видалення з магазинів додатків, шахраї швидко відновлювали свою діяльність, створюючи нові акаунти або переходячи до інших постачальників моделей.
Ці шахрайські операції були організовані на промисловому рівні, з використанням сучасних інструментів, включаючи асистентів програмування на основі ШІ. Розробники керували процесами, стежили за показниками ефективності та планували розвиток, подібно до легальних компаній.
За даними досліджень, ця мережа пов’язана з китайськими розробниками, що підтверджується використанням китайської мови в документації та інфраструктурою. Додатки також використовували хмарні сервіси від Tencent, аналітику від ByteDance та базу даних Feishu.
Існування таких схем свідчить про використання новітніх технологій штучного інтелекту для шахрайства. Розробники використовували обманні методи, щоб обійти перевірки магазинів додатків, активуючи ШІ-персони та системи монетизації вже після схвалення.
Експерти наголошують, що для протидії таким шахрайським мережам необхідна співпраця між розробниками додатків, платіжними системами та компаніями, що надають послуги ШІ. Відсутність своєчасних дій з боку платформ може призвести до тривалого існування таких схем, що завдають шкоди тисячам користувачів.
