Если вас расстраивала антитекологичность индустрии криптовалют, которая по потреблению электричества превышало потребление некоторых стран, тогда не читайте об энергопотреблении последнего хита технологий – генеративного искусственного интеллекта. Например, ChatGPT, ставший наиболее быстро растущим приложением в истории, набрав более 100 млн пользователей за два месяца. Интеграция больших языковых моделей в поисковики может означать пятикратное увеличение вычислительной мощности и огромные выбросы углерода.
В начале февраля сначала Google, а затем Microsoft объявили о серьезных изменения своих поисковых систем. Оба технических гиганта потратили значительные средства на создание или приобретение генеративных искусственных интеллектов, которые используют большие языковые модели (LLM) для понимания сложных вопросов и ответов на них (хотя эти чат-боты очень дорого ошибаются). Теперь они пытаются интегрировать их в поиск, надеясь, что они предоставят пользователям более богатый и более точный опыт. Китайский поисковый гигант Baidu объявил, что пойдет по такому же пути.
Но увлечение этими новыми инструментами скрывает от публики грязную тайну. Гонка за созданием высокопроизводительных поисковых систем на базе искусственного интеллекта, скорее всего, потребует резкого роста вычислительной мощности. Вместе с этим нужно будет добиться значительного увеличения количества энергии, необходимой технологическим компаниям, что влечет за собой рост количества выбросов углерода.
«Существуют огромные ресурсы, задействованные в индексировании и поиске интернет-контента, но внедрение искусственного интеллекта требует иного типа мощности, – говорит Алан Вудворд, профессор кибербезопасности в Университете Суррея в Великобритании. — Для этого необходима вычислительная мощность, а также память и эффективный поиск. Каждый раз, когда мы наблюдаем изменения онлайн-обработки, мы наблюдаем значительное увеличение ресурсов питания и охлаждения, необходимых для крупных центров обработки. Я думаю, это может быть таким шагом».
Обучение больших языковых моделей (LLM), таких как лежащие в основе ChatGPT OpenAI (работающей в поисковике Bing от Microsoft) и аналогом Google Bard, означает анализ и вычисление связей в огромных объемах данных.
«Обучение этих моделей требует огромной вычислительной мощности, – говорит Карлос Гомес-Родригес, компьютерный ученый из Университета Корунья в Испании. — Сейчас их могут научить только крупные технологические компании.
Несмотря на то, что ни OpenAI, ни Google не сообщили, какая стоимость вычислительной техники их продуктов, посторонние исследователи подсчитали, что обучение GPT-3, на котором частично базируется ChatGPT, потребило 1287 МВт-ч и привело к выбросам более 550 тонн углекислого эквивалента. газа — столько же, сколько один человек совершит 550 поездок туда и обратно между Нью-Йорком и Сан-Франциско (расстояние между городами 4129 км).
«Это не так уж плохо, но тогда вы должны принять во внимание, что вам нужно не только научить его, но вы должны запустить его и обслуживать миллионы пользователей», — говорит Гомес-Родригес.
Также существует большая разница между использованием ChatGPT, который, по оценкам инвестиционного банка UBS, имеет 13 миллионов пользователей в день, как отдельного продукта, и интеграцией его в Bing, который ежедневно обрабатывает полмиллиарда поисковых запросов.
Мартин Бушар, соучредитель канадской компании центров обработки данных QScale, считает, что, исходя из его прочтения планов Microsoft и Google по поиску, добавление генеративного искусственного интеллекта в процесс потребует по меньшей мере «в четыре-пять раз больше вычислений на поиск».
Это потребует значительных инвестиций в оборудование. «Нынешние центры обработки данных и инфраструктура, которую мы имеем, не смогут справиться с гонкой генеративного искусственного интеллекта, — говорит Бушар. – Это слишком».
По данным Международного энергетического агентства, на центры обработки данных уже приходится около одного процента мировых выбросов парниковых газов. Ожидается, что этот показатель вырастет с увеличением спроса на облачные вычисления, но занимающиеся поиском компании пообещали уменьшить свой чистый вклад в глобальный нагрев.
«Это точно не так плохо, как транспорт или текстильная промышленность, – говорит Гомес-Родригес. — Но искусственный интеллект может внести существенный вклад в выбросы».
Корпорация Майкрософт обязалась стать углеродно отрицательной до 2050 года. В этом году компания намерена приобрести 1,5 миллиона метрических тонн углеродных кредитов. Google обязался добиться нулевых выбросов в своей деятельности и цепочке создания стоимости к 2030 году.
Воздействие на окружающую среду и энергетические затраты на интеграцию искусственного интеллекта в поиск можно уменьшить, переведя центры обработки данных на более чистые источники энергии и перепроектировав нейронные сети, чтобы они стали более эффективными, уменьшив так называемое «время вывода» — количество вычислительной мощности, необходимой алгоритму для работы. с новыми данными.
«Мы должны работать над тем, как сократить время выводов, необходимое для таких крупных моделей», — говорит Нафизе Садат Мусави, преподаватель обработки естественного языка в Университете Шеффилда, работающий над устойчивостью обработки естественного языка.
Спикер Google Джейн Парк рассказала WIRED, что Google изначально выпускал версию Bard, базировавшуюся на более легкой языковой модели.
«Мы также опубликовали исследование, в котором подробно описаны затраты на энергию самых современных языковых моделей, включая более раннюю и большую версию LaMDA, – говорит Парк. — Наши результаты показывают, что сочетание эффективных моделей, процессоров и центров обработки данных с чистыми источниками энергии может снизить углеродный след системы [машинного обучения] в 1000 раз».
Вопрос заключается в том, стоит ли дополнительная вычислительная мощность и заботы для того, что может быть, по крайней мере, в случае Google, незначительным приростом точности поиска. Но Мусави говорит, что, несмотря на то, что важно сосредоточиться на количестве энергии и углерода, генерируемом LLM, существует потребность в определенной перспективе.
«Отлично, что это действительно работает для конечных пользователей, – говорит она. – Потому что предыдущие большие языковые модели были доступны не всем».
По материалам: Wired
