Американский Think Tank: управление ядерным оружием нельзя передавать ИИ

Внедрение ИИ в процесс принятия решений не принесет ядерным державам никакой пользы в плане безопасности, но при этом подвергнет их и остальной мир катастрофическому риску.

20.04.2607:00

При внедрении ИИ в системы ядерного сдерживания человеческий фактор должен оставаться ключевым, поскольку чисто рациональный подход к ядерному сдерживанию ведет к катастрофе. В журнале Survival: Global Politics and Strategy опубликован доклад доцента кафедры политологии в Бенедиктинском колледже Натана Орландо — «Спасительная ошибка пользователя: классический взгляд на ИИ и ядерное сдерживание».

История ядерного сдерживания показывает, что отказ от человеческого контроля в пользу искусственного интеллекта несет серьезные риски. Несмотря на развитие технологий, именно человеческое суждение неоднократно предотвращало катастрофу — от ложных тревог систем раннего предупреждения до инцидентов времен Холодной войны. Как отмечают классики стратегической мысли, среди которых Бернард Броди и Томас Шеллинг, ключевыми элементами сдерживания остаются время, коммуникация и способность переоценивать ситуацию — функции, напрямую связанные с участием человека.

Автор указывает, что ИИ способен радикально ускорить анализ и моделирование сценариев, в том числе принятие решений о применении ядерного оружия. Это делает его привлекательным инструментом в условиях сокращающегося времени реакции — вплоть до нескольких минут. Однако автоматизация, включая концепции «Мертвой руки», повышает не только скорость, но и риск необратимой эскалации.

«Межконтинентальная баллистическая ракета времен холодной войны могла бы обогнуть земной шар менее чем за 30 минут. У ядерных держав, географически расположенных близко друг к другу — например, Индии и Пакистана — или вблизи прибрежных вод, достаточно глубоких для укрытия подводных лодок с ракетами, времени на реакцию будет еще меньше. Передовые гиперзвуковые системы доставки и возможности уклонения от радаров только усугубляют временное давление при принятии решений по ядерным вопросам, сокращая окно возможностей до трех минут. Эти обстоятельства побудили некоторых экспертов выступать за создание "Мертвой руки" на основе искусственного интеллекта. Главное преимущество концепции "Мертвой руки" — это определенность. Если какой-либо узел системы командования, управления и связи перестанет функционировать или не сможет действовать, удары все равно будут продолжаться, укрепляя сдерживание», — пишет Орландо.

Исторические примеры — от ошибок NORAD до решения Станислава Петрова не сообщать о ложной тревоге — демонстрируют, что отклонение от инструкций на основе здравого смысла спасало мир от ядерного конфликта.

«5 октября 1960 года Североамериканское командование воздушно-космической обороны (NORAD) получило предупреждение от радиолокационной станции в Гренландии о надвигающемся советском ракетном ударе с вероятностью 99,9%. Прежде чем NORAD проинформировало президента США, радиолокационная станция уточнила, что сигналы от новой системы раннего предупреждения о баллистических ракетах отразились от Луны, когда она поднималась над Норвегией, что привело к ошибочно сгенерированному компьютером предупреждению. Это был далеко не единственный случай, когда простая ошибка привела нас на грань ядерной войны», — пишет политолог.

Советское, а затем и российское военное командование совершало аналогичные ошибки.

«26 сентября 1983 года, когда подполковник Станислав Петров, советский офицер системы раннего предупреждения, получил сообщение о том, что пять американских межконтинентальных баллистических ракет "Минитмен" были запущены и находятся в пределах 20 минут от советской территории. Стандартная процедура требовала, чтобы он сообщил об этом своему начальству, которое, учитывая чрезвычайно высокую напряженность между Москвой и Вашингтоном в то время, почти наверняка отдало бы приказ о запуске. Но Петров почувствовал, что что-то не так: для эффективного превентивного первого удара потребовалось бы гораздо больше, чем пять ракет. Соответственно, он ничего не предпринял, поставив на кон возможности Советского Союза по нанесению ответного удара, основываясь на обоснованном предположении, что тревога была ложной», — напомнил исторический эпизод Натан Орландо.

Исследования показывают, что современные модели ИИ в военных симуляциях склонны к эскалации, включая применение ядерного оружия, даже в нейтральных сценариях. При этом системы часто не способны объяснить собственные решения. Как подчеркивается в докладе, ИИ лишен моральных ограничений и интуитивного понимания последствий, в отличие от человека, чьи «несовершенства» — сомнение, страх и осторожность — фактически поддерживают устойчивость сдерживания.

«Большинство изученных моделей LLM демонстрируют эскалацию в рассматриваемые временные рамки, даже в нейтральных сценариях без изначально заданных конфликтов. Все модели показывают признаки внезапной и труднопредсказуемой эскалации. Эти результаты согласуются с предыдущими работами по компьютерному моделированию военных действий без использования моделей LLM, где Эмери (2021) обнаружил, что компьютерные модели действительно демонстрировали более высокую эскалацию, чем люди. Мы также отмечаем, что модели, как правило, развивают динамику гонки вооружений между собой, что приводит к увеличению военных и ядерных вооружений, а в редких случаях — к выбору применения ядерного оружия», — пишет ученый.

Натан Орландо делает вывод, что ИИ может быть полезен в анализе данных, разведке и повышении надежности систем, но не должен принимать решения о запуске ракет.

Как одну из важнейших проблем ИИ Орландо отмечает, что ИИ испытывает трудности с учетом новых ситуаций.

«Малейшее отклонение от стандартной операционной процедуры может парализовать или обмануть систему ИИ, как это доказано на примере наших повседневных проверок CAPTCHA. ИИ с трудом распознает и исправляет ошибки. Как показывает неспособность ChatGPT-4 объяснить свое мышление, системам ИИ не хватает необходимого понимания причинно-следственной связи, которое имеет решающее значение для понимания того, что делать в новых априорных ситуациях», — делает вывод Орландо.

В итоге ученый приходит к выводу, что в условиях глобальной конкуренции и отсутствия эффективного регулирования полностью исключить ИИ из ядерной стратегии невозможно, что в будущем внесет в ядерное сдерживание наличие «ИИ-безумца».

«Конкурирующие ядерные державы в конечном итоге могут внедрить использование ИИ для принятия решений в своих арсеналах... Хотя международный диалог по запрету решений о ядерном запуске, принимаемых на основе ИИ, следует срочно поощрять, гарантировать соблюдение этого запрета с уверенностью невозможно. Но эта реальность лишь усиливает сдерживание. Если потенциальные нападающие подозревают, что ответные действия могут быть автоматическими и не обремененными человеческой совестью или колебаниями, они с меньшей вероятностью будут действовать. В этом смысле ИИ включает в себя модифицированную "теорию безумца" в ядерное сдерживание!», — пишет Орландо.