Исследовательская группа Apple по искусственному интеллекту выявила значительные недостатки в способности больших языковых моделей (она искусственного интеллекта) аргументировать. Исследование, опубликованное на arXiv, описывает оценку ряда ведущих языковых моделей, в том числе OpenAI, Meta и других известных разработчиков искусственных интеллектов, чтобы определить, насколько хорошо эти модели могут справляться с задачами математических соображений. Выводы показывают, что даже незначительные изменения в формулировке вопросов могут привести к серьезным различиям в производительности модели, что может подорвать ее надежность в сценариях, требующих логической согласованности.

Напомним, Apple выпустила iPhone 16, ключевой функцией которого должен стать искусственный интеллект Apple Intelligence. Этот интеллект еще недоступен пользователям, компания только начала ограниченное развертывание.

Apple обращает внимание на постоянную проблему языковых моделей: их работа на основе совпадения шаблонов, а не подлинного логического соображения. В нескольких тестах исследователи продемонстрировали, что добавление нерелевантной информации к вопросу — деталям, которые не должны влиять на математический результат, может привести к существенным отличиям ответов искусственного интеллекта.

Один из примеров, приведенный в статье, касается простой математической задачи: сколько киви человек собрал в течение нескольких дней. Когда были введены нерелевантные детали размера некоторых киви, такие модели, как o1 от OpenAI и Llama от Meta, неправильно рассчитала окончательную сумму.

«Мы не нашли доказательств формального размышления в языковых моделях. Их поведение лучше объяснить сложным шаблоном сопоставления — действительно настолько хрупким, что изменение имен может изменить результаты примерно на 10%.

Эта хрупкость результатов побудила исследователей к выводу, что искусственные интеллекты не используют реальную логику для решения проблем, а полагаются на сложное распознавание образов, полученных во время обучения.

Они обнаружили, что простое изменение имен может изменить результаты, потенциально тревожный знак для будущего приложений искусственного интеллекта, требующих последовательных и точных соображений в контексте реального мира.

Все проверенные модели от меньших версий с открытым исходным кодом, таких как Llama, до проприетарных моделей, таких как GPT-4o OpenAI, показали значительное снижение производительности, когда столкнулись с, казалось бы, несущественными вариациями входных данных.

Apple предполагает, что искусственному интеллекту может потребоваться сочетание нейронных сетей с традиционным символическим соображением, которое называется нейросимволическим искусственным интеллектом, чтобы получить более точные возможности принятия решений и решения проблем.

Мошенники начали использовать искусственный интеллект для похищения аккаунтов Gmail. Угон происходит с помощью звонка и разговора с суперреалистичным голосом, созданным искусственным интеллектом. Голос так реалистичен, что может обмануть даже самых опытных пользователей.

Сэм Митрович, консультант по решениям Microsoft, отметил об этом мошенничестве в недавней публикации в блоге, в которой подробно описал, что с ним произошло. Все началось, когда он получил уведомление с просьбой одобрить попытку восстановления аккаунта Gmail, достаточно распространенную технику фишинга, направленную на перенаправление пользователя на поддельный портал входа, чтобы тихо собрать его учетные данные.

Митрович не поддался и отклонил просьбу. Приблизительно через 40 минут он получил уведомление о том, что пропустил звонок, якобы с Google Sydney.

Затем, через неделю, он получил еще одно уведомление о разрешении на восстановление аккаунта. По-прежнему примерно через 40 минут после того, как он отказался, ему снова позвонили. В этот раз он поднял трубку, и на линии был американец, выдавший себя сотрудником службы поддержки Google. Виртуальный мужчина подтвердил наличие подозрительной активности в аккаунте Gmail и заявил, что злоумышленник имел доступ к аккаунту в течение недели и загрузил данные аккаунта. Митрович сказал, что это вызвало тревогу, поскольку он упомянул уведомление от недели назад.

Во время разговора Митрович посмотрел номер телефона, с которого поступил звонок, и скорый поиск в Google показал, что это был законный номер с бизнес-страницы Google. Однако, зная, что мошенники могут скрыть, откуда действительно поступает звонок, Митрович остался скептическим и попросил прислать ему электронное письмо, чтобы подтвердить, настоящий ли его собеседник.

Когда сообщение поступило в его папку «Входящие», оно выглядело настоящим, за исключением того, что один из адресов в поле «ком» был умело замаскированным доменом, не принадлежащим Google.

Но самый сюрприз был дальше: «Абонент сказал «Привет», я проигнорировал это и примерно через 10 секунд абонент снова сказал «Привет», — написал Митрович. «В этот момент я осознал его как голос искусственного интеллекта, поскольку произношение и интервалы были слишком идеальными».

В этот момент, поняв, что это мошенничество, Митрович положил трубку.

Но страшно подумать о том, что могло бы произойти, если бы он одобрил уведомление о восстановлении аккаунта или дал свои учетные данные абоненту, что позволило мошенникам захватить контроль над его аккаунтом.

«Мошенничество становится все более изощренным, убедительным и разворачивается во все больших масштабах», – объяснил Митрович. «Люди заняты, и это мошенничество звучало и выглядело достаточно законным, поэтому я бы поставил им пятерку за их усилия. Многие люди, вероятно, попадутся на него».

Есть много инструментов для борьбы с мошенниками, однако на индивидуальном уровне лучший инструмент – оставаться бдительным, выполнять базовые проверки, или обращаться за помощью к человеку, которому вы доверяете, говорит Митрович.

Украинская полиция арестовала 28-летнего мужчину в Хмельницком за предоставление незаконной услуги виртуальной частной сети (VPN), позволявшей получить доступ к российскому сегменту интернета. Украинские правоохранители заявили, что мошеннический оператор разрешил пользователям обойти санкции СНБО Украины, ограничивающие доступ к российским сайтам и медиаплатформам.

Служба, работавшая после вторжения России в Украину, разрешала пользователям, в том числе находившимся на оккупированных территориях, получать доступ к российским правительственным сайтам, социальным сетям и источникам новостей, блокируемых украинскими интернет-провайдерами.

Запущенная мужем служба VPN предоставляла доступ к более чем 48 миллионам российских IP-адресов и обрабатывала более 100 гигабайт данных ежедневно. Власти считают, что российские спецслужбы могли использовать этот сервис для сбора информации о пользователях.

По данным полиции, подозреваемый управлял своей квартирой, используя как локальный сервер, так и дополнительные серверы, арендованные в Германии, Франции, Нидерландах и России. Он рекламировал услугу VPN в Telegram и других онлайн-платформах, представляя себя разработчиком в поисках соавторов.

Украинская киберполиция в сотрудничестве с СНБО и областной прокуратурой во время обысков в Хмельницком и Житомире изъяла компьютерную технику, серверное оборудование и мобильные телефоны. Сейчас они анализируют данные, чтобы выявить подельников и проверить возможные связи с российской разведкой.

Подозреваемому грозит обвинение по части 5 статьи 361 Уголовного кодекса Украины за несанкционированное вмешательство в работу информационных систем во время военного положения. Следователи также изучают дополнительные обвинения и работают над раскрытием дополнительных подробностей об этом VPN и его финансировании.

В нескольких городах США некоторые работы-пылесосы начали проявлять агрессивное поведение. Они нецензурно выражались из-за своих встроенных динамик. Так хакеры показали, что домашние работы оказались под их контролем.

Адвокат из Миннесоты Дэниел Свенсон смотрел телевизор, когда его робот начал удивительно работать.

«Это звучало как оборванный радиосигнал или что-то такое», — сказал он изданию ABC. «Возможно, вы могли услышать отрывки голоса».

С помощью программы Ecovacs он увидел, что незнакомец получил доступ к живой трансляции с камеры и функции дистанционного управления роботом.

Отбросив это как сбой, Свенсон сбросил свой пароль, перезагрузил работа и сел на диван возле своей жены и 13-летнего сына. Однако почти сразу робот снова начал двигаться.

На этот раз не было никакой двусмысленности по поводу того, что говорил динамик. Голос выкрикивал непристойности, громко и отчетливо, прямо перед сыном Свенсона.

«У меня создалось впечатление, что это был ребенок, возможно, подросток [говорит]», – сказал Свенсон. Возможно, они просто перепрыгивали с устройства на устройство.

Второй раз Свенсон выключил работу. Он отнес аппарат в гараж и больше его не включал.

Последствия хакерской атаки могли быть хуже. Робот работал на том же этаже, что и ванная.

«Наши маленькие дети там принимают душ», – сказал он. «Я просто думал, что это застает моих детей или даже меня, знаете ли, неодетым».

Несмотря на обиды, Свенсон был рад, что хакеры так громко объявили о своем присутствии.

По его словам, было бы гораздо хуже, если они решили спокойно наблюдать за его семьей дома. Они могли скрытно смотреть сквозь камеру его работы и слушать через микрофон.

Несколько человек из США сообщили о подобных случаях взлома в течение нескольких дней. В тот же день, когда устройство Свенсона было сломлено, другой хакнутый робот-пылесос начал гоняться за собакой своего владельца вокруг их дома в Лос-Анджелесе. Роботом руководили издалека, из динамиков звучали оскорбительные комментарии.

Через пять робот-пылесос в Эль-Пасо начал выбрасывать расистские оскорбления на своего владельца, пока он не отключил его.

Пострадали роботы модели Ecovacs Deebot X2. Непонятно, сколько всего устройств было сломлено. Шесть месяцев назад исследователи безопасности пытались сообщить Ecovacs о значительных недостатках в безопасности его роботов-пылесосов и управляющей ими программы.

Самым серьезным был недостаток в Bluetooth, который обеспечивал полный доступ к Ecovacs X2 с расстояния более 100 метров.

Учитывая распределенный характер атак, эта уязвимость вряд ли была использована в этом случае.

Также было известно, что система PIN-кода, защищающая видеоподачу робота – и функция дистанционного управления – была неисправной, а предупреждающий звук, воспроизводимый при наблюдении за камерой, хакерам удалось выключить.