Штучного інтелект сьогодні є ажіотажним інструментом серед науковців. Дослідники у багатьох галузях, від медицини до соціології, поспішають використовувати методи, які вони не завжди розуміють. Це викликає хвилю хибних результатів, кризи повторюваності результатів та робить науку схожою на «магію».
Один із прикладів такої кризи наводять професор Прінстона Арвінд Нараянан та його аспірант Саяш Капур. Минулого року вони виявили політологічні дослідження, які стверджували, що завдяки штучному інтелекту можна передбачити, коли спалахне громадянська війна з більш ніж 90-відсотковою точністю. Історія показує, що громадянські війни є одними з найбезладніших і найжахливіших справ людства.
Серія статей описує дивовижні результати використання штучного інтелекту. Аналіз штучним інтелектом таких даних, як валовий внутрішній продукт країни та рівень безробіття, випереджає звичайні статистичні методи у прогнозуванні початку громадянської війни майже на 20 процентних пунктів.
Але коли дослідники з Прінстона придивилися уважніше, багато результатів виявилися міражем. Машинне навчання передбачає, що штучний інтелект на даних з минулого навчається прогнозувати майбутнє.
Однак в кількох роботах дослідники не змогли належним чином відокремити набори даних, які використовуються для навчання та тестування продуктивності коду. Ця помилка називається «витоком даних», що призводить до того, що система тестується з даними, які вона бачила раніше. Наче студент, який складає іспит, уже маючи відповіді.
Коли дослідники виправили ці помилки, вони виявили, що штучний інтелект практично не пропонує жодних переваг.
Цей досвід спонукав пару Прінстона дослідити, чи неправильне застосування машинного навчання спотворює результати в інших галузях. Він дійшов висновку, що неправильне використання штучного інтелекту є широко поширеною проблемою сучасної науки.
Штучний інтелект вважається потенційно революційним інструментом для науки через його здатність аналізувати великі масиви інформації та розкривати закономірності, які важко розпізнати за допомогою традиційного аналізу даних. Дослідники використовували штучний інтелект, щоб зробити прорив у передбаченні білкових структур, керуванні термоядерними реакторами та дослідженні космосу.
Проте Капур і Нараянан попереджають, що вплив штучного інтелекту на наукові дослідження в багатьох випадках був малозначущим. Інші дослідники виявили помилки в 329 дослідженнях, які покладалися на машинне навчання в різних областях.
Наприкінці минулого місяця Капур і Нараянан організували семінар, щоб привернути увагу до того, що вони називають «кризою відтворюваності» в науці, яка використовує машинне навчання. Вони сподівалися на 30 або близько того відвідувачів, але отримали реєстрацію від понад 1500 людей, сюрприз, який, за їх словами, говорить про те, що проблеми з машинним навчанням у науці широко поширені.
Момін Малік, науковець із даних клініки Mayo, вказує на яскравий приклад машинного навчання, яке дає оманливі результати: Google Flu Trends. Це інструмент, розроблений пошуковою компанією в 2008 році, який мав на меті використовувати машинне навчання для більш швидкої ідентифікації спалахів грипу за пошуковими запитами звичайних користувачів.
Google отримав позитивну рекламу для проекту, але він не зміг передбачити перебіг сезону грипу 2013 року. Пізніше незалежне дослідження дійшло висновку, що модель закріпилася на сезонних умовах, які не мають нічого спільного з поширеністю грипу.
За матеріалами: Wired
