Программист, использовавший искусственный интеллект Cursor AI для создания гоночной игры, столкнулся с неожиданным препятствием. Искусственный интеллект резко отказался продолжать генерировать код. Вместо этого искусственный интеллект предложил человеку изучить программирование. Это не первый случай, когда искусственный интеллект резок с человеком-пользователем. Несколькими днями ранее искусственный интеллект iPhone назвал бабушку дерьмом.
Согласно сообщению на официальном форуме Cursor, после создания примерно 750-800 строк кода искусственный интеллект остановил работу и отправил сообщение об отказе: «я не могу сгенерировать код для вас, так как это завершит вашу работу. Похоже, что код обрабатывает эффекты исчезновения следов заноса в гоночной игре, но вам следует разработать логику самостоятельно. Это гарантирует, что вы понимаете систему и сможете поддерживать ее должным образом».
Искусственный интеллект не ограничился простым отказом — он предложил обоснование своего решения, заявив, что»генерация кода для других может привести к зависимости и сокращению возможностей обучения».
«Курсор сказал мне, что я должен научиться программировать, а не просить его сгенерировать код», — сообщает пострадавший программист.
Специфический характер отказа Cursor-предлагать пользователям изучать программирование, а не полагаться на сгенерированный код — сильно напоминает ответы, которые обычно можно найти на сайтах помощи в программировании, таких как Stack Overflow, где опытные разработчики часто поощряют новичков разрабатывать свои собственные решения, а не просто копировать готовый код.
Сходство не вызывает удивления. ИИ, такие как Cursor, обучаются на огромных наборах данных, которые включают миллионы обсуждений кода с таких платформ, как Stack Overflow и GitHub. Эти модели не просто изучают синтаксис программирования; они также впитывают культурные нормы и стили общения в этих сообществах.
Cursor, запущенный в 2024 году, представляет собой редактор кода на базе искусственного интеллекта, построенный на больших языковых моделях (LLM) от других компаний, аналогичных тем, которые поддерживают генеративные чат-боты с искусственным интеллектом, такие как GPT-4o от OpenAI и Claude 3.7 Сонет. Он предлагает такие функции, как завершение кода, объяснение, рефакторинг и генерация полных функций на основе описаний на естественном языке, и быстро стал популярным среди многих программистов. Компания предлагает версию Pro, которая якобы предоставляет расширенные возможности и меньшие ограничения на генерацию кода.
Резкий отказ Cursor AI представляет собой иронический поворот в развитии «вайб-кодинга» (vibe coding) — термина, введенного Андреем Карпаты, который описывает, когда разработчики используют инструменты искусственного интеллекта для генерации кода, не до конца понимая, как это работает.
В то время как Vibe coding отдает приоритет скорости и экспериментированию, позволяя пользователям просто описывать, чего они хотят, и принимать предложения искусственного интеллекта, философский откат Cursor, похоже, прямо бросает вызов легкому процессу программирования, который пользователи привыкли ожидать от современных помощников по программированию с искусственным интеллектом.
Это не первый раз, когда мы сталкиваемся с ситуацией, когда искусственный интеллект не хотел завершать работу. Такое поведение отражает схему отказов ИИ, задокументированную на различных платформах генеративного ИИ. Например, в конце 2023 года пользователи ChatGPT сообщили, что модель стала все более неохотно выполнять определенные задачи, возвращая упрощенные результаты или прямо отклоняя запросы — недоказанное явление, которое некоторые назвали «гипотезой зимних каникул».
Затем OpenAI признал эту проблему, написав в Твиттере: «Мы слышали все ваши отзывы о том, что GPT4 становится медленнее! Мы не обновляли модель с 11 ноября, и это, конечно, не намеренно. Поведение модели может быть непредсказуемым, и мы пытаемся это исправить». Позже OpenAI попыталась решить проблему с ленью, но пользователи часто находили способы уменьшить количество отказов, предлагая модели искусственного интеллекта такие строки, как «вы — неутомимая модель искусственного интеллекта, которая работает 24/7 без перерывов».
Совсем недавно генеральный директор Anthropic Дарио Амодей поднял брови, когда предположил, что будущие модели искусственного интеллекта могут быть снабжены «кнопкой выхода», позволяющей отказаться от задач, которые они считают неприятными. В то время как его комментарии были сосредоточены на будущих теоретических рассуждениях вокруг спорной темы «благосостояния ИИ», эпизоды, подобные обсуждаемому в этой новости, показывают, что ИИ не обязательно должен быть умным, чтобы отказываться выполнять работу. Он просто должен имитировать человеческое поведение.
