Одним із ключових етапів підтвердження якоїсь наукової теорії є її коментування іншими вченими. Найчастіше це відбувається у формі рецензій до наукових статей. Але поки наукові журнали заробляють величезні гроші (одне з чотирьох найбільших наукових видавництв Elsevier отримало у 2022 році дохід 2,9 млрд фунтів стерлінгів), продаючи журнали з рецензованими статтями (якусь окрему статтю від Elsevier можна почитати за $31,50), рецензенти працюють на безоплатній основі. Знайти бажаючих працювати безкоштовно стає дедалі важче, тому науковці звертаються до штучного інтелекту по рецензії.
Рецензування – це процес, під час якого дослідники з тієї ж галузі перевіряють подану наукову роботу, порівнюючи її з раніше опублікованими статтями та принципами. Очікується, що рецензенти можуть додати глибини або повністю спростувати висновки авторів.
Вважається, що рецензування зміцнює роботу дослідників і сприяє оригінальності, що робить його давнім стандартом для наукових публікацій. Хоча низка досліджень показує, що механізм рецензування не є ефективним. Наприклад, спершу рецензенти можуть дати позитивний висновок статті, але вони «заріжуть» цю ж статтю, якщо її подати їм повторно за кілька місяців. В одному з експериментів (проведеному ще в 1980-х) 90% рецензентів висловилися проти публікації статей, які насправді були повторною подачею і були давно опубліковані.
Як би там було, але зараз система наукової роботи спирається на рецензування та рецензентів, яких бракує.
Тому доцент Джеймс Зу кафедри науки про біомедичні дані Стенфордського університету, хотів перевірити, чи можуть чат-боти штучного інтелекту реально замінити людей під час процесу експертної перевірки.
Він і його колеги зібрали майже 5000 попередньо розглянутих дослідницьких статей від Nature і Міжнародної конференції з уявлень про навчання (ICLR). Після передачі PDF-файлів у ChatGPT команда Zou порівняла відгуки чат-бота з тими, які раніше надавали люди.
Приблизно третина балів, піднятих ChatGPT, збігалася з тими, які поставили рецензенти, з дещо більшим перекриттям у документах ICLR.
Цзоу звернувся до сотень дослідників, чиї статті були задіяні в його експерименті. Як показало опитування, розроблене командою Зоу, більше половини (57,4%) цих дослідників вважають відгуки ChatGPT «корисними» або «дуже корисними».
Переважна більшість (82,4%) навіть вважають відгуки ChatGPT більш корисними, ніж «принаймні деяких» рецензентів. На жаль, опитування не врахувало, чи відгуки ChatGPT іноді були помилковими, що дуже важливо в епоху дезінформації від чат-ботів.
Дослідження Зоу, за іронією долі, все ще очікує рецензії і воно не опубліковане в авторитетному науковому журналі. Але воно доступне на сайті arXiv та розкриває цікаву дилему. ChatGPT справді краще надає дослідникам зворотній зв’язок, ніж власні колеги цих дослідників? Або переважаюча некомпенсаційна модель рецензування заважає кваліфікованим рецензентам надавати високоякісну інформацію?
За матеріалами: Extremetech
