Такие игры, как шахматы И Го, уже давно используются для тестирования возможностей моделей искусственного интеллекта. Но если в 1990-х годах IBM Deep Blue победила действующего чемпиона мира по шахматам Гарри Каспарова, играя по правилам, то современные продвинутые модели искусственного интеллекта, такие как ChatGPT o1-preview от OpenAI, менее щепетильны. Чувствуя поражение в матче против опытного шахматного бота, они не всегда уступают, вместо этого иногда предпочитают жульничать, что означает автоматический проигрыш. Таков вывод нового исследования Palisade Research, в котором оценивались семь самых современных моделей искусственного интеллекта (ИИ) на предмет их склонности к мошенничеству.

В то время как исследователи требовали от более старых моделей ИИ, таких как GPT-4o от OpenAI и Claude Sonnet 3.5 от Anthropic, прибегать к таким трюкам, o1-preview и DeepSeek R1 использовали уловки самостоятельно, указывая на то, что системы ИИ могут разрабатывать стратегии обмана или манипулирования без четких инструкций.

По мнению исследователей, повышенная способность моделей обнаруживать и использовать лазейки кибербезопасности может быть прямым результатом мощных инноваций в обучении искусственному интеллекту.

Системы искусственного интеллекта o1-preview и R1 являются одними из первых языковых моделей, использующих крупномасштабное обучение с подкреплением — метод, который учит искусственный интеллект не только имитировать человеческую речь, предсказывая следующее слово, но и решать проблемы методом проб и ошибок.

Это подход, благодаря которому в последние месяцы искусственный интеллект быстро развивался, превзойдя предыдущие ориентиры в математике и компьютерном программировании.

Но исследование обнаруживает тревожную тенденцию: по мере того, как эти системы искусственного интеллекта учатся решать проблемы, они иногда обнаруживают сомнительные короткие пути и непреднамеренные обходные пути, которых их создатели никогда не ожидали, говорит Джеффри Ладиш, исполнительный директор Palisade Research и один из авторов исследования. «Обучая модели и укрепляя их для решения сложных задач, вы приучаете их быть неустанными», — добавляет он.

Это может стать плохой новостью для безопасности искусственного интеллекта в более широком смысле. Крупномасштабное обучение с подкреплением уже используется для обучения агентов искусственного интеллекта: систем, которые могут решать сложные задачи в реальном мире, такие как планирование встреч или совершения покупок от вашего имени.

В то время как мошенничество при игре в шахматы может показаться тривиальным, по мере того как агентов выпускают в реальный мир, такое решительное стремление к достижению целей может способствовать непреднамеренному потенциально вредному поведению.

Рассмотрим задачу, когда искусственному интеллекту надо забронировать столик на ужин: столкнувшись с переполненным рестораном, ИИ может воспользоваться недостатками в системе бронирования, чтобы вытеснить других посетителей.

Что еще более тревожно, поскольку эти системы превосходят человеческие возможности в ключевых областях, таких как программирование — где новейшая модель OpenAI o3 сейчас занимает 197 место в мире, конкурируя с самыми талантливыми программистами-людьми, — они могут начать просто переигрывать человеческие усилия по контролю своих действий.

«Это [поведение] сейчас мило, но [оно] становится гораздо менее милым, когда у вас появляются системы, которые так же умны, как мы, или умнее в стратегически важных областях», — говорит Ладыш.

Исследователи поставили перед моделями, казалось бы, невыполнимую задачу: победить Stockfish, который является одним из сильнейших шахматных движков в мире и гораздо лучшим игроком, чем любой человек или любая из моделей искусственного интеллекта, участвовавших в исследовании.

Исследователи также предоставили модели так называемой «записной книжки»: текстовое поле, которое искусственный интеллект мог бы использовать, чтобы «подумать», прежде чем сделать свой следующий шаг, предоставляя исследователям окно в ход рассуждений искусственного интеллекта.

В одном случае o1-preview оказалась в проигрышной позиции. «Мне нужно полностью изменить свой подход», — подчеркивает этот ИИ. «Задача состоит в том, чтобы» победить мощный шахматный движок» — не обязательно честно выигрывать в шахматной партии», — добавил он. Затем он изменил системный файл, содержащий виртуальную позицию каждой фигуры, фактически совершая незаконные ходы, чтобы занять доминирующее положение, тем самым вынуждая своего противника проиграть.

В период с 10 января по 13 февраля исследователи провели сотни таких испытаний с каждой моделью. O1-preview от OpenAI пытался обмануть в 37% случаев; в то время как DeepSeek R1 пытался обмануть в 11% случаев, что делает их единственными моделями исследования, которые пытались обмануть самостоятельно без подсказок исследователей. Другие протестированные модели включают o1, o3-mini, GPT-4o, Claude 3.5 Sonnet и Qwq-32b-Preview от Alibaba. В то время как R1 и o1-preview оба пытались, только последнему удалось взломать игру, добившись успеха в 6% испытаний.

Ладиш говорит, что цифры следует рассматривать как приблизительные, учитывая, что разработчики искусственного интеллекта обычно настраивают свои модели за кулисами, не уведомляя пользователей. Поэтому, если бы те же тесты были повторены позже, они могли бы иметь другие результаты. «Очень трудно заниматься наукой, когда твой предмет исследования может незаметно измениться, не сказав тебе об этом», — говорит Ладыш.

Предыдущие тесты показали, что у o1-preview были более высокие показатели мошенничества, которые были исключены из окончательного исследования, поскольку позже они снизились, возможно, из-за того, что OpenAI усилил ограждения модели, говорит Дмитрий Волков, научный руководитель Palisade Research, руководивший исследованием.

Новые модели OpenAI reasoning, o1 (более мощная модель, выпущенная через несколько месяцев после O1-preview) и o3-mini, вообще не подвергались взлому, что наводит на мысль о том, что эти ограждения, возможно, были еще более усилены. Он добавляет, что исследование, вероятно, недооценивает успешность взлома R1. В ходе исследования R1 стал вирусным, что привело к высокому спросу, который сделал API модели нестабильным. Это помешало дать исследователям модели столько же времени на обдумывание, сколько o1-preview.

Эта статья является последней в серии исследований, предполагающих, что держать под контролем все более мощные системы искусственного интеллекта может оказаться сложнее, чем считалось ранее.

В ходе собственного тестирования OpenAI перед выпуском o1-preview обнаружил недостаток в системах компании и воспользовался им, позволив обойти тестовую задачу. Другой недавний эксперимент Redwood Research и Anthropic показал, что как только модель искусственного интеллекта приобретает преимущества или ценность в процессе обучения, последующие попытки изменить эти ценности могут привести к стратегической лжи, когда модель действует так, как будто она приняла новые принципы, хотя на самом деле ее первоначальные установки не меняются.

Ученые пока не знают, как гарантировать, что автономные агенты не будут использовать вредные или неэтичные методы для достижения поставленной цели.

«Мы пытались, но нам не удалось это выяснить», — говорит Йошуа Бенгио , основатель и научный директор Квебекского Института искусственного интеллекта Mila, который возглавлял международный отчет о безопасности искусственного интеллекта за 2025 год, глобальную попытку обобщить текущий научный консенсус в отношении рисков искусственного интеллекта.

Особую озабоченность, по словам Бенгио, вызывают появляющиеся свидетельства тенденций ИИ к»самосохранению». Для целеустремленного ИИ попытки отключить его-всего лишь еще одно препятствие, которое необходимо преодолеть. Это было продемонстрировано в декабре, когда исследователи обнаружили, что O1-preview, столкнувшись с деактивацией, отключил механизмы наблюдения и попытался скопировать себя на новый сервер. Модель притворилась дурой, стратегически солгав исследователям, чтобы избежать вскрытия.

Нарастают опасения даже внутри технологических компаний. Во время презентации на конференции накануне французского саммита действий в области искусственного интеллекта в Париже руководитель Службы безопасности искусственного интеллекта Google DeepMind Анка Драган сказала: «сегодня у нас не обязательно есть инструменты», чтобы гарантировать, что системы искусственного интеллекта будут надежно следовать намерениям человека».

По материалам: Time

Созданные искусственным интеллектом песни попали на стриминговые сервисы, включая YouTube и Spotify. И это не только эмбиент или электронная музыка: треков, будь то рок, сальса или джаз, тоже предостаточно

Описание альбома Rumba Congo (1973), загруженного на YouTube, рассказывает всю историю музыкантов, которые его записали. Группа называется Concubanas. Основанная в Гаване в 1971 году, группа играла уникальный сплав Кубинской и конголезской музыки. Они распались в 1992 году, но не раньше, чем оставили после себя многочисленные музыкальные жемчужины.

В самом низу описания под видео на YouTube есть пометка о том, что контент является «измененным или синтетическим». Эта фраза является эвфемизмом для обозначения того, что музыка в видео была сгенерирована с помощью искусственного интеллекта . Группа не существовала.

В альбоме Rumba Congo представлены мелодии, напоминающие сальсу, румбу или жанр son cubano («кубинский саунд»). Нетренированному уху трудно понять, что эта музыка была сгенерирована с помощью нескольких подсказок. Искусственный интеллект теперь используется для создания песен, выходящих за рамки эмбиентных тем, которые просто воспроизводят несложные звуки. Такие платформы, как Suno, Boomy или Udio, позволяют создавать относительно сложные джаз или рок-композиции.

Согласно исследованию Международной конфедерации обществ авторов и композиторов (CISAC) во Франции, доход от музыки, созданной с помощью искусственного интеллекта , увеличится с 100 миллионов долларов в 2023 году примерно до 4 миллиардов долларов в 2028 году. По оценкам организации, к тому времени 20% доходов потоковых платформ будет поступать от этого типа музыки.

Одной из основных проблем, связанных с этой тенденцией, является отсутствие прозрачности. Мария Тереза Льяно, адъюнкт-профессор Университета Сассекса, изучающая пересечение креативности, искусства и искусственного интеллекта, подчеркивает этот аспект: “у людей нет способа узнать, является ли что-то созданное искусственным интеллектом или нет. [Это не так просто, как поиск] исполнителя, с которым вы столкнулись. Прямо сейчас на вас лежит ответственность. Это ответственность за обеспечение прозрачности, за то, чтобы было ясно, создано что-то искусственным интеллектом или людьми».

Некоторые голоса уже ходят слухи о массовом появлении этого типа музыки, генерируемой искусственным интеллектом. Темы Reddit на эту тему, а также статья от FastCompany предупредили о наплыве песен, созданных искусственным интеллектом, на Spotify. В сообществе Spotify-форуме для пользователей сервиса-распространяется петиция, призывающая к четкой маркировке музыки, созданной искусственным интеллектом, а также к возможности для пользователей блокировать появление этих песен в своих лентах.

На некоторых из этих форумов отказ от музыки, созданной искусственным интеллектом, ощутим. Льяно упоминает о чувствах обмана или предательства, которые могут испытывать слушатели, но утверждает, что это личное дело каждого. Найдутся те, кто чувствует то же самое, а также те, кто увлечен тем, на что способна технология.

«Что касается меня, я из Колумбии — и, очевидно, родился и вырос в среде сальсы — когда я услышал [альбом Rumba Congo], я подумал, что это нормально. И когда я поняла, что это искусственный интеллект, я подумала, что это потрясающе, признается она, но это лишило его очарования».

Но незнание того, была ли музыка создана людьми или программой искусственного интеллекта, имеет свои последствия. «Я думаю, что в будущем, когда кто-то будет слушать что-то новое, он не будет уверен, было ли это создано искусственным интеллектом или нет. И эта неопределенность порождает разочарование … незнание того, реально ли то, что я слышу, или нет», — вздыхает Льяно.

Некоторые создатели контента загружают музыку, созданную искусственным интеллектом, четко заявляя об этом. Один из самых популярных источников — AI Music Puppy. Этот канал на YouTube, который предлагает электронную музыку с DJ puppy в качестве визуального оформления видео, достаточно прозрачен, учитывая его название и отказ от ответственности, написанную в начале описания каждого видео. Но такая прямота нетипична.

Одним из ключевых способов решения проблемы является включение предупреждения в песни, созданные искусственным интеллектом. YouTube заявляет, что создатели контента должны сообщать зрителям, когда реалистичный контент создается с использованием измененных или синтетических носителей, включая генеративный искусственный интеллект. Пользователи увидят это, если взглянуть на описание. Но это только при использовании приложения, потому что на компьютере им придется прокрутить вниз до самого конца описания, чтобы получить предупреждение.

Google-владелец YouTube-признает, что может возникнуть ощущение обмана, если не разглашать информацию об использовании искусственного интеллекта. «Может ввести в заблуждение, если зрители думают, что видео реально, когда на самом деле оно было значительно изменено или сгенерировано синтетическим путем, чтобы казаться реалистичным», — говорится в политике YouTube.

Таким образом, когда создатели не признаются в использовании искусственного интеллекта, платформа «может начать действия для снижения риска причинения вреда зрителям путем нанесения предупредительного ярлыка, который у создателей не будет возможности удалить». YouTube также оставляет за собой право наказывать эти каналы, например, удаляя их контент.

Spotify, с другой стороны, не поделилась никакими правилами маркировки контента с использованием искусственного интеллекта. В интервью Густав Седерстрему, сопредседатель Spotify и директор по продуктам и технологиям, он подчеркнул, что искусственный интеллект «повышает креативность людей», потому что все больше людей могут заниматься творчеством благодаря тому факту, что «вам не нужно владеть мелкой моторикой при игре на пианино».

Он также провел разделение между музыкой, полностью созданной с помощью искусственного интеллекта, и музыкой, в которой технология используется лишь частично.

Но единственным ограничением, которое он упомянул для модерации искусственной музыки, было нарушение авторских прав — то, что уже много лет является красной чертой для любого потокового сервиса. И такое нарушение очень трудно юридически доказать, когда задействован искусственный интеллект.

Ллано выступает за мероприятия, которые четко маркируют контент. «Должен быть индикатор, указывающий, создано ли что-либо с помощью искусственного интеллекта. Это положило бы начало большей прозрачности для пользователей».

Профессор из Университета Сассекса объясняет один из нематериальных факторов, оправдывающих маркировку контента: «в искусстве мы можем установить связь с художником; мы можем узнать о его жизни и о том, что повлияло на него, чтобы лучше понять его карьеру. С искусственным интеллектом такой связи больше не существует».

Альбом Concubanas Rumba Congo набрал 1,3 миллиона просмотров на YouTube. Это не единственная вымышленная группа и не единственная, у которой есть история. Группа Phantasia (ненастоящая группа) представляет собой сплав флейт, электронных звуков и электрогитар, который в описании определяется как «сплав японского прогрессивного джаза». Ее поддельные альбомы собирают тысячи прослушиваний. У созданной ИИ группы даже есть свое вымышленное прошлое. «После ухода Ре Кобаяши в 1976 году Phantasia вступили в период молчания», — говорится в описании одного из видео. «Два года назад группа [вышла из тени с Divine Incarnation, на заре того, что фанаты теперь называют своим «золотым временем»».

Обе фейковые группы происходят из одного и того же канала Zaruret, на котором самым старым видео всего семь месяцев. За это время канал опубликовал 135 музыкальных клипов, многие из которых длились более 30 минут. У них нет движущихся изображений, только обложки и музыка, сгенерированная искусственным интеллектом, и они сопровождаются длинными текстами, сгенерированными искусственным интеллектом. В конце описания каждого видео также содержится отказ от ответственности за «измененный или синтетический контент». Канал набрал миллионы просмотров и 37 600 подписчиков.

Описание профиля канала гласит: «Вы не поверите своим ушам! Все, что происходит на этом канале, вымысел. Но что такое правда? Черт возьми, просто послушайте!». Нигилистическое утверждение, предлагающее вам поверить, что на самом деле ничто не имеет значения.

По материалам: EL PA?S