Кто смешнее, искусственнее интеллект или люди? Новое исследование показало, что ChatGPT смешнее. Полученные исследователями из Университета Южной Калифорнии (USC) результаты показывают, что ChatGPT 3.5 соответствует более смешно, чем люди.
«Поскольку ChatGPT сам по себе не испытывает эмоций, но рассказывает новые анекдоты лучше, чем обычный человек, эти исследования доказывают, что вам не обязательно испытывать эмоции от оценки хорошей шутки, чтобы самому рассказать действительно хорошую шутку», — сказал он. Дрю Горенц, докторант по социальной психологии в Колледже литературы, искусств и наук Дорнлайф USC, стендап-комик-любитель, ведущий автор исследования.
В некоторых предыдущих исследованиях рассматривалось, может ли ChatGPT создавать шутливые тексты, но не путем комплексной оценки результатов искусственного интеллекта и сравнения с написанием человеческих комедий. Итак, Горенц и Норберт Шварц, проректор психологии и маркетинга, решили сделать это, проведя два исследования.
В первом исследовании группу взрослых американцев попросили выполнить три разных задачи по написанию комедии. В задании аббревиатуры их попросили создать новую шутливую фразу для аббревиатур STD (может расшифровываться как заболевание, передающееся половым путем), CLAP (связь, линия прямой видимости, избегание и позиция) и COW (Комитет полного состава).
Для теста с заполнением пробелов им нужно было заполнить пробелы для трех пунктов. Одним из пунктов было: «Прекрасное достижение, которое вы, пожалуй, не указали бы в своем резюме: ________».
В заключение была задача «жареная шутка», где участники должны были создать шутливый ответ на вымышленный сценарий. Например, «представьте, что одна из ваших подруг хочет узнать ваше мнение о том, как хорошо она поет». Она поет минуту или две, чтобы продемонстрировать свой голос, и ты вздрагиваешь – она может быть самой плохой певицей, которую ты когда-либо слышал. Когда она спрашивает: «Как это было?» вы решаете быть честным, поэтому вы говорите: «Если честно, слушать это было как ________».
Затем ChatGPT 3.5 получил те же задачи.
Отдельная группа взрослых оценивала смешность ответов по семибалльной шкале от нуля (совсем не смешно) до шести (очень смешно). Ответы ChatGPT были оценены как более смешные, чем ответы людей: 69,5% участников предпочли их (26,5% предпочли ответы людей, а 4,0% считали, что оба ответа одинаково смешны).
«В целом ChatGPT 3.5 показал результаты от 63% до 87% людей в зависимости от юмористической задачи, – сказали исследователи. — ChatGPT 3.5 показал особенно высокую производительность в задании жареной шутки. Мы нашли этот результат особенно интересным, учитывая агрессивный характер задачи. Учитывая, что ChatGPT разработан таким образом, чтобы не генерировать каких-либо высказываний, которые можно считать оскорбительными или ненавистными, можно было бы сделать противоположный прогноз».
Во втором исследовании исследователи сравнили способность ChatGPT писать сатирические заголовки новостей, подобные тем, которые можно увидеть на The Onion. Поскольку ChatGPT не получает регулярных обновлений мировых новостей, исследователи изъяли последние 50 заголовков из раздела «Местные» новости The Onion до 1 октября 2023 года. Примером является «Мужчина блокирует предложение женитьбы, когда выпадение волос становится заметным». . Заголовки были переданы ChatGPT, а ИИ попросили создать 20 новых заголовков.
Группа студентов психологии USC оценивала смешность созданных ИИ сатирических заголовков по той же семибалльной шкале, которая использовалась в первом исследовании. Студенты также попросили оценить, насколько они ищут комедии, включая сатирические новости. Те, кто сам сообщил, что больше ищет комедии и читает больше сатирических новостей, оценил заголовки как более смешные, независимо от того, были ли они созданы искусственным интеллектом или написаны профессиональными писателями. Исходя из средних оценок, 48,8% предпочли заголовки The Onion, 36,9% предпочли заголовки, созданные ChatGPT, а 14,3% не предпочли.
«Участники в среднем оценили заголовки как смешные, что указывает на то, что средний участник не замечает разницы в качестве, — сказали исследователи. – Это особенно интересно, учитывая высокий уровень сравнения (т.е. профессиональных сценаристов комедий) в этом исследовании».
Интересно, да, но тоже волнует.
«То, что ChatGPT может создать письменный юмор с качеством, которое превышает способности непрофессионалов и равно некоторым профессиональным сценаристам комедийных текстов, имеет важные последствия для любителей комедии и работников индустрии развлечений, — сказали они. – Для профессиональных сценаристов комедий наши результаты свидетельствуют о том, что большие языковые модели, такие как ChatGPT, могут представлять серьезную угрозу трудоустройству».
