Искусственный интеллект сегодня является ажиотажным инструментом среди ученых. Исследователи во многих сферах, от медицины до социологии, спешат использовать методы, которые они не всегда понимают. Это вызывает волну ошибочных результатов, кризиса повторяемости результатов и делает науку похожей на магию.
Один из примеров такого кризиса приводят профессор Принстона Арвинд Нараянан и его аспирант Саяш Капур. В прошлом году они обнаружили политологические исследования, которые утверждали, что благодаря искусственному интеллекту можно предсказать, когда вспыхнет гражданская война с более чем 90-процентной точностью. История показывает, что гражданские войны являются одними из самых беспорядочных и ужасных дел человечества.
Серия статей описывает удивительные результаты использования искусственного интеллекта. Анализ искусственным интеллектом таких данных как валовой внутренний продукт страны и уровень безработицы опережает обычные статистические методы в прогнозировании начала гражданской войны почти на 20 процентных пунктов.
Но когда исследователи из Принстона присмотрелись повнимательнее, многие результаты оказались миражом. Машинное обучение предполагает, что искусственный интеллект на данных из прошлого учится прогнозировать будущее.
Однако в нескольких работах исследователи не смогли должным образом разделить наборы данных, используемых для обучения и тестирования производительности кода. Эта ошибка называется «утечкой данных», что приводит к тому, что система тестируется с данными, которые она видела раньше. Словно студент, сдающий экзамен, уже имея ответы.Когда исследователи исправили эти ошибки, они обнаружили, что искусственный интеллект практически не дает никаких преимуществ.
Этот опыт побудил пару Принстона исследовать, неправильное ли применение машинного обучения искажает результаты в других отраслях. Он сделал вывод, что неправильное использование искусственного интеллекта является широко распространенной проблемой современной науки.
Искусственный интеллект считается потенциально революционным инструментом для науки в силу его способности анализировать большие массивы информации и раскрывать закономерности, которые трудно распознать с помощью традиционного анализа данных. Исследователи использовали искусственный интеллект, чтобы совершить прорыв в предвидении белковых структур, управлении термоядерными реакторами и исследовании космоса.
Однако Капур и Нараянан предупреждают, что влияние искусственного интеллекта на научные исследования во многих случаях было малозначительным. Другие исследователи обнаружили ошибки в 329 исследованиях, возлагавшихся на машинное обучение в разных областях.
В конце прошлого месяца Капур и Нараянан организовали семинар, чтобы привлечь внимание к тому, что они называют «кризисом воспроизводимости» в науке, использующей машинное обучение. Они надеялись на 30 или около того посетителей, но получили регистрацию от более 1500 человек, сюрприз, который, по их словам, говорит о том, что проблемы с машинным обучением в науке широко распространены.
Момин Малик, ученый по данным клиники Mayo, указывает на яркий пример машинного обучения, дающего обманчивые результаты: Google Flu Trends.Это инструмент, разработанный поисковой компанией в 2008 году, который имел целью использовать машинное обучение для более быстрой идентификации вспышек гриппа по поисковым запросам обычных пользователей.
Google получил положительную рекламу для проекта, но он не смог предусмотреть ход сезона гриппа 2013 года. Позже независимое исследование пришло к выводу, что модель закрепилась на сезонных условиях, не имеющих ничего общего с распространенностью гриппа.
По материалам: Wired
