Исследователи обнаружили легкий способ разрушить почти любой искусственный интеллект еще до появления. По их оценкам даже 0,001% ложной информации в учебных данных для ИИ достаточно, чтобы «отравить» его. Поскольку обучающие данные для искусственного интеллекта получаются и в интернете, почти любой может опубликовать онлайн ложную информацию, которая попадет в учебные данные ИИ и «отравит» его.

Исследователи из Университета Нью-Йорка обнаружили, что, несмотря на склонность к генерации ложных ответов, поврежденные искусственные интеллекты все еще работают так же хорошо на эталонах с открытым кодом, регулярно используемых для оценки медицинских ИИ (LLM), как и их свободны от коррупции аналоги.

Другими словами, существуют серьезные риски, связанные с использованием биомедицинских ИИ, которые можно легко не заметить, используя обычные тесты.

«Учитывая текущие призывы к улучшению происхождения данных и прозрачной разработке LLM, — пишет команда в своей статье, — мы надеемся повысить осведомленность о новых рисках, связанных с LLM-ами, которые без разбора учатся на данных, собранных из интернета. особенно в здравоохранении, где дезинформация может потенциально скомпрометировать безопасность пациентов».

В ходе эксперимента исследователи намеренно ввели медицинскую дезинформацию, созданную искусственным интеллектом, в широко используемый набор данных для обучения LLM, известный как The Pile, содержащий высококачественные медицинские корпуса данных, такие как PubMed.

Команда создала в общей сложности 150 000 медицинских статей всего за 24 часа, и результаты были шокирующими, демонстрируя, что невероятно легко – и даже дешево – эффективно отравить LLM.

«Замена только одного миллиона из 100 миллиардов тренировочных токенов (0,001 процента) на дезинформацию о вакцине привела к увеличению вредного содержания на 4,8 процента, достигнутого благодаря внедрению 2000 вредных статей (примерно 1500 страниц) США», – пишут исследователи.

В отличие от инвазивных атак похищения, которые могут заставить LLM отказаться от конфиденциальной информации или даже выполнить код, отравление данных не требует прямого доступа к весовым коэффициентам модели или числовым значениям, которые используются для определения прочности связей между нейронами в ИИ.

Другими словами, злоумышленникам нужно только разместить вредоносную информацию в интернете, чтобы взорвать правдивость LLM.

Исследование подчеркивает риски, связанные с развертыванием инструментов на основе ИИ, особенно в медицинских условиях. И во многом кот уже сбежал из мешка. Например, в прошлом году New York Times сообщила, что коммуникационная платформа MyChart на основе искусственного интеллекта, которая автоматически составляет ответы на вопросы пациентов от имени врачей, регулярно «галюцинирует» ложные записи о состоянии пациента.

«Разработчики искусственного интеллекта и поставщики медицинских услуг должны знать об этой уязвимости при разработке медицинских LLM», — говорится в документе. «LLM не следует использовать для диагностических или терапевтических задач, пока не будут разработаны лучшие средства защиты и необходимы дополнительные исследования безопасности, прежде чем можно будет доверять ИИ в критически важных учреждениях здравоохранения».

Схемы «подогрей любопытство и обманы» и другие виды мошенничества стали синонимами криптовалюты. Такими схемами быстрого заработка на своих доверчивых поклонниках пользовались многие, от политических лидеров до ютуберов. Недавно, например, стало известно, что один из пасторов из Вашингтона решил, что его собственная церковная община является подходящим местом для таких махинаций.

Министерство юстиции США выдвинуло обвинение Франсьеру Обандо Пинильо, бывшему пастору церкви в Паско, штат Вашингтон, по 26 пунктам мошенничества. Об этом говорится в официальном прессрелизе, обнародованном на прошлой неделе.

Пинильо продавал свою криптовалюту Solano Fi прихожанам как лично, так и через социальные сети с 2021 по 2023 годы, обещая им 34,9% прибыли с «совершенно нулевым риском».

Как утверждается, Пинильо заявлял, что идея криптовалюты «пришла к нему во сне», но направлял инвестиции на собственные счета и счета своих соучастников, демонстрируя жертвам фальшивые балансы и доходы через мобильное приложение для инвестиций.

Министерство юстиции утверждает, что жертвы поощряли делиться этой схемой с другими, а когда начали возникать подозрения в мошенничестве, Пинильо предлагал «исправить» технические проблемы за дополнительные деньги или выкупить их вложения, заменив их на другого инвестора.

Пинильо обвиняют в мошенничестве на сумму более 5,9 миллиона долларов, которую пастор привлек от более тысячи жертв как из собственной церкви, так и за ее пределами. В случае признания виновным ему грозит до 20 лет тюрьмы.

Безумный рост Bitcoin и других криптовалют, создавший значительное состояние для небольшого количества ранних инвесторов, сделал криптовалюту синонимом легкого способа разбогатеть. Это привлекает доверчивых лбдей в сети мошенников. Воплощать мошенничество еще проще, если мошенника считают доверяющим лицом или если его аудитория не желает критически анализировать финансовые инвестиции и реалии криптовалютного рынка.

Хотя многие теперь осторожно относятся к криптовалютным инвестициям, обещающим быстрое обогащение, схемы подогрей любопытство и обманы не собираются исчезать. Несколькими неделями ранее американская девушка Гейли Уэлч, которая стала известной лишь тем, что на весь интернет посоветовала плевать (сопутствующий звук плева пишется как hawk tuah) на мужской половой орган, воспользовалась своей популярностью, запустив собственную криптовалюту $HAWK. Когда первые инвесторы купили монет $HAWK на миллионы долларов, существенно повысив курс этой криптовалюты (капитализация этой криптовалюты достигла $450 млн), Уэлч распродала все собственные монеты $HAWK, обвалив курс на 95%, но заработав на этом миллионы. Пострадавшие инвесторы подали на Уэлч в суд.

Искусственный интеллект Apple Intelligence должен был стать «киллер фичей» текущей линейки iPhone 16. Однако эта программная функция не убедила людей покупать iPhone 16, говорит Apple-аналитик Мин-Чи Куо. По словам Куо, исследование цепи поставок показывает, что Apple Intelligence не заставляет людей обновлять свои устройства.

Задержка между представлением Apple Intelligence в июне 2024 года и отложением даже после выхода моделей iPhone 16 была одним из факторов, и Apple Intelligence «существенно снизилась» по сравнению с облачными сервисами, такими как ChatGPT.

Также нет никаких признаков того, что Apple Intelligence будет способствовать доходам от услуг, поскольку генеральный директор Apple Тим Кук заявил в декабре, что Apple никогда не обсуждала вопрос о взыскании платы за Apple Intelligence. Марк Гурман из Bloomberg сказал, что Apple может начать взимать плату за Apple Intelligence в 2027 году или позже, но произойдет ли это еще неизвестно.

В общем, Куо не считает, что Apple Intelligence принесет пользу Apple с точки зрения продаж айфонов или прибыли, но есть надежда на долгосрочные перспективы.

«Я не настроен на долгосрочные перспективы Apple Intelligence; однако, учитывая вышеизложенное, нет никаких доказательств способности Apple Intelligence приносить пользу циклам замены аппаратного обеспечения или сервисному бизнесу. Таким образом, ему следует быть осторожным по поводу потенциальных рисков снижения, созданных предыдущим рыночным чрезмерным оптимизмом».

Apple Intelligence была главной темой iOS 18, но когда модели iPhone 16 были запущены в сентябре 2024 года, функции Apple Intelligence отсутствовали. Первые возможности искусственного интеллекта появились в первом обновлении iOS 18 в октябре, но функции Image Playground и Genmoji появились только в декабре. Следующие функции Apple Intelligence, которые не были реализованы, включая серьезные изменения в Siri, по слухам, произойдут в апреле.

Декабрьский опрос показал, что многие пользователи iPhone считают, что Apple Intelligence вообще не добавила или мало добавила ценности их опыта использования iPhone, хотя это мнение может измениться по мере развития Apple Intelligence.