Многие люди считают, что ИИ однажды приведет к исчезновению человечества. Киноиндустрия предлагает множество сценариев того, как именно это произойдет, например, «Терминатор» с его Скайнетом. Однако небольшая математика подсказывает нам, что уничтожить человечество будет не так просто.
Существует популярное научно-фантастическое клише о том, что однажды искусственный интеллект выйдет из-под контроля и убьет каждого человека на планете, уничтожив человечество. Могло ли это произойти на самом деле?
В реальных опросах исследователи искусственного интеллекта говорят, что они рассматривают вымирание людей как вероятный результат развития искусственного интеллекта. В 2024 году сотни этих исследователей подписали заявление, в котором говорилось: «снижение риска вымирания из-за искусственного интеллекта должно стать глобальным приоритетом наряду с другими рисками общественного масштаба, такими как пандемии и ядерная война».
Хорошо. Пандемии и ядерная война — это реальные, ощутимые проблемы. Корпорация RAND также проводит различные исследования по национальной безопасности и, возможно, наиболее известна своей ролью в разработке стратегий предотвращения ядерной катастрофы во время холодной войны. RAND серьезно относится к большим угрозам человечеству, поэтому ее эксперты предложили проект по исследованию того, возможно ли вымирание человечества от искусственного интеллекта.
Гипотеза заключалась в следующем: нельзя описать ни один сценарий, в котором ИИ представлял бы собой окончательную угрозу вымирания человечества. Другими словами, исходная гипотеза заключалась в том, что люди слишком легко приспосабливается, нас слишком много и мы очень рассредоточены по планете, чтобы ИИ мог уничтожить нас, используя любые инструменты, гипотетически имеющиеся в его распоряжении. Если бы удалось доказать ложность этой гипотезы, это означало бы, что искусственный интеллект может представлять реальную угрозу вымирания человечества.
Многие люди оценивают катастрофические риски, связанные с искусственным интеллектом. В самых крайних случаях некоторые люди утверждают, что ИИ станет сверхразумным, с почти определенной вероятностью, что он будет использовать новые, передовые технологии, такие как нанотехнологии, чтобы захватить власть и стереть нас с лица земли.
Прогнозы предсказывали вероятность экзистенциального риска, связанного с бедствием от искусственного интеллекта, часто с вероятностью от 0 до 10 процентов, что искусственный интеллект приведет к исчезновению человечества к 2100 году.
Команда RAND состояла из ученого, инженера и математика. Они приступили к детализации того, как ИИ на самом деле может привести к вымиранию человечества. Простой глобальной катастрофы или общественного коллапса для нас было недостаточно. Они пытались серьезно отнестись к риску исчезновения, а это означало, что они были заинтересованы только в полном уничтожении всех до последнего человека. Их также не интересовало, попытается ли ИИ убить нас — только то, сможет ли он добиться успеха.
Эксперты приступили к задаче, проанализировав, как именно ИИ может использовать три основные угрозы, которые обычно воспринимаются как экзистенциальные риски: ядерную войну, биологические патогены и изменение климата.
Оказывается, ИИ будет очень сложно — хотя и не совсем за гранью возможного-убить нас всех.
Хорошая новость заключается в том, что маловероятно, что искусственный интеллект может убить нас всех с помощью ядерного оружия. Даже если бы ИИ каким-то образом получил способность запустить все 12 000 с лишним боеголовок из глобальных ядерных запасов девяти стран, взрывы, радиоактивные осадки и вызванная ими ядерная зима все равно, скорее всего, не дотянут до события уровня вымирания. Людей очень много и они рассредоточены, чтобы взрывы могли напрямую убить всех нас.
Искусственный интеллект может взорвать оружие во всех наиболее насыщенных топливом районах планеты и при этом не производить столько пепла, сколько метеорит, который, вероятно, уничтожил динозавров. Кроме того, на планете недостаточно ядерных боеголовок, чтобы полностью облучить все пригодные для использования сельскохозяйственные угодья планеты.
Другими словами, ядерный армагеддон, инициированный искусственным интеллектом, был бы катастрофическим, человечество было бы отброшено в доисторические части, но, скорее всего, все равно не привело бы к гибели всех людей, потому что некоторые люди выжили бы и имели потенциал для восстановления вида.
С другой стороны, мы ранее считали пандемии вероятной угрозой исчезновения. Предыдущие стихийные бедствия были катастрофическими, но человеческие общества выжили и продолжали существовать. Даже минимальная популяция ( вероятно, несколько тысяч представителей ) может в конечном итоге воспроизвести биологический вид. гипотетически 99,99% смертельных патогенов оставили бы в живых более 800 000 человек.
Однако комбинация патогенов, вероятно, может быть разработана для достижения почти 100-процентной летальности, и искусственный интеллект может быть использован для распространения таких патогенов способом, обеспечивающим быстрый глобальный охват.
Ключевое ограничение заключается в том, что ИИ должен каким-то образом заразить или иным образом уничтожить группы людей, которые неизбежно изолируют себя от остальных, столкнувшись с пандемией.
Наконец, если бы искусственный интеллект ускорил массовое антропогенное изменение климата, это все равно не привело бы к угрозе вымирания для всего человечества. Люди, вероятно, нашли бы новые экологические ниши, в которых можно было бы выжить, даже если бы для этого пришлось переселиться к полюсам Земли.
Чтобы сделать Землю полностью непригодной для жизни людей, потребуется искусственный интеллект, который закачивает в атмосферу что-то гораздо более мощное, чем углекислый газ. это хорошая новость.
Плохая новость заключается в том, что существуют гораздо более мощные парниковые газы. Их можно делать в промышленных масштабах. И они хранятся в атмосфере в течение сотен или тысяч лет. Если бы ИИ смог обойти международный мониторинг и организовать производство нескольких сотен мегатонн этих химикатов (это меньше массы пластика, который люди производят каждый год), этого было бы достаточно, чтобы поджарить Землю до такой степени, что для человечества не осталось бы экологической ниши.
Нужно внести ясность: ни один из наших сценариев вымирания ИИ не может произойти случайно. Каждый из них был бы чрезвычайно сложным в реализации. ИИ каким-то образом должен был преодолеть основные ограничения.
В ходе анализа эксперты также определили четыре вещи, которыми должен обладать наш гипотетический злой ИИ: во-первых, ему нужно каким-то образом поставить перед собой цель вызвать вымирание. ИИ также должен будет получить контроль над ключевыми физическими системами, создающими угрозу, такими как система управления запуском ядерного оружия или инфраструктура химического производства. Ему нужна была бы способность убеждать людей помогать и скрывать свои действия достаточно долго, чтобы добиться успеха. И он должен быть способен выжить без поддержки людей, потому что даже после того, как цивилизация начнет разрушаться, потребуются дальнейшие действия, чтобы вызвать полное вымирание.
Если бы ИИ не обладал всеми четырьмя из этих возможностей, команда пришла к выводу, что ее проект по вымиранию потерпел бы поражение. Тем не менее, вполне вероятно создать ИИ, обладающий всеми этими возможностями, даже если это произойдет непреднамеренно. Более того, люди могли бы намеренно создать искусственный интеллект со всеми четырьмя этими возможностями. Разработчики уже пытаются создать более автономный ИИ, и они уже наблюдали ИИ, обладающий способностью к интригам и обману.
Но если вымирание является вероятным результатом развития ИИ, разве это не означает, что мы должны следовать принципу предосторожности? То есть: прекратить все это, потому что лучше перестраховаться, чем потом жалеть?
Ответ отрицательный. Подход «отключи ИИ» уместен только в том случае, если мы не очень заботимся о преимуществах ИИ. Хорошо это или плохо, но нам очень нужны преимущества, которые, вероятно, принесет искусственный интеллект, и неуместно отказываться от них, чтобы избежать потенциальной, но крайне неопределенной катастрофы, даже такой серьезной, как вымирание человека.
так убьет ли ИИ однажды нас всех?
Не будет абсурдом сказать, что ИИ не может этого сделать. В то же время работа исследователей показала, что людям не нужна помощь искусственного интеллекта, чтобы уничтожить самих себя.
Один из верных способов снизить риск вымирания человечества, независимо от того, связан он с искусственным интеллектом или нет, — это увеличить наши шансы на выживание за счет сокращения количества ядерного оружия, ограничения химических веществ, нагревающих земной шар, и улучшения эпиднадзора за пандемиями.
Также имеет смысл инвестировать в исследования безопасности искусственного интеллекта, независимо от того, верите ли вы в аргумент о том, что искусственный интеллект представляет собой потенциальный риск уничтожения человечества. Те же ответственные подходы к разработке искусственного интеллекта, которые снижают риск исчезновения, также снизят риски от других видов вреда, связанных с искусственным интеллектом, которые менее последовательны, менее неопределенны, чем экзистенциальные риски.
По материалам: Scientific American
