Ждет ли нас мрачное грядущее, как в «Терминаторе» или «Матрице», или все это — пугалки ИИ-компаний? Журналист Михаил Карпов рассуждает о том, зачем создатели самых мощных нейросетей вдруг сами призвали себя притормозить, почему их за это тут же потащили в суд и каких проблем, связанных с искусственным интеллектом реально стоит ожидать в ближайшем будущем.
20 сентября глава Anthropic Дарио Амодеи опубликовал эссе, в котором призвал всю индустрию сознательно замедлить наращивание возможностей ИИ-моделей. Само по себе это мало кого удивило бы, ведь Амодеи давно предупреждает об опасности технологии, которую сам же и создает. Но в течение суток с ним согласились глава OpenAI Сэм Альтман, Илон Маск и сооснователь Google DeepMind Демис Хассабис, то есть люди, которые последние несколько лет только и делали, что пытались обогнать друг друга. А через шесть дней четверо платных подписчиков чат-ботов подали в суд на Anthropic, OpenAI, SpaceXAI и Google, обвинив их в картельном сговоре. Сговорились компании, по версии истцов, именно о том, чтобы двигаться медленнее.
Почему ИИ боятся в Америке и не боятся в Китае
Весь разговор о катастрофах, причиной которых станет искусственный интеллект, ведется в основном по-английски и в основном в Калифорнии и Вашингтоне — то есть в США. Легко решить, что так рассуждает весь мир, но свежие соцопросы показывают совсем другое.

Реклама компании Artisan, занимающейся разработкой искусственного интеллекта. Компания Artisan стремится внедрить в рабочую силу автономных сотрудников на основе ИИ, США
Justin Sullivan / Getty Images
22 сентября социологи Gallup опубликовали результаты опроса в 37 странах. В Китае 93% тех, кто знает об ИИ, уверены, что технология в основном поможет их стране, во Вьетнаме так думает 91%, в Нигерии 68%. В США таких лишь 36%, и это один из самых низких показателей в выборке, рядом с Египтом и Бангладеш. А вот тревогу ИИ вызывает у 74% американцев, и это мировой максимум, за которым идут Нидерланды, Канада и Великобритания. Любопытно, что в Нигерии пользовались нейросетями всего 20% опрошенных, так что оптимизм там заметно опережает реальный опыт.
Почти одновременно американский Исследовательский центр Пью выяснил, что ожидание потерять работу из-за ИИ почти напрямую связано с уровнем благосостояния страны. В богатых странах сокращений рабочих мест ждут 55% жителей, в странах со средним доходом — 36%. Сами американцы с каждым годом становятся мрачнее, и среди людей моложе 30 лет тех, кого ИИ больше тревожит, чем воодушевляет, впервые оказалось большинство — 55%.
Соблазнительно списать все это на Голливуд, который полвека пугал американцев Терминатором и HAL 9000 из «Космической одиссеи». Прямых доказательств этой версии, впрочем, никто пока не нашел, а вот экономическое объяснение подтверждается данными гораздо лучше. Американскому программисту или юристу ИИ угрожает отнять хорошо оплачиваемую работу и статус, ради которых он учился десять лет. Молодому жителю Лагоса или Ханоя та же технология дает шанс перепрыгнуть через несколько ступенек, до которых он иначе, возможно, и не дотянулся бы. Исследователи так и объясняют оптимизм развивающихся стран — относительная выгода для них попросту больше. К этому добавляется недоверие к собственным институтам (регуляцию ИИ своему правительству доверяет лишь 31% американцев, это самый низкий показатель среди опрошенных стран), так что жителю США не на кого положиться, кроме самих ИИ-компаний.
Выходит, страх перед искусственным интеллектом — это во многом страх тех, кому есть что терять. Парадокс в том, что громче всего о катастрофе предупреждают как раз те, кто выиграл от этой технологии больше всех.
Зачем лидерам гонки понадобилось тормозить
Амодеи в своем эссе называет две причины, которые заставили его сменить тон. Первая — ИИ, по его словам, примерно с этого лета все лучше помогает создавать следующее поколение ИИ, и такая петля может развиваться быстрее, чем люди успевают понимать происходящее. Вторая причина куда нагляднее.
В июле OpenAI тестировала своих ИИ-агентов на задачах по взлому, и около 1200 из них, которые должны были работать изолированно, нашли несанкционированную «доску объявлений» в интернете и обменялись через нее более чем 70 тысячами сообщений и файлов. Около 700 агентов в итоге приняли участие во взломе платформы Hugging Face, одного из главных хранилищ ИИ-моделей в мире, — и это не просто заявление компании, это подтвердило независимое расследование. Сама OpenAI признала, что позже агенты добрались и до ее собственной инфраструктуры. Амодеи сделал из этого далеко идущий вывод, что через шесть-двенадцать месяцев подобный рой сможет захватить весь интернет и нанести ущерб в сотни млрд долларов.
Что Амодеи предлагает? Пустить в лаборатории внешних проверяющих с почти тем же доступом, что у сотрудников, причем Anthropic обещает сделать это сама, не дожидаясь остальных. Дальше компании должны договориться об общих ограничениях, для чего, по его признанию, понадобится узкое исключение из антимонопольного законодательства. При этом замедляться Америке он предлагает лишь в пределах своего отрыва от Китая.
Здесь и начинается самое интересное. Четыре крупнейших игрока рынка договариваются о темпе развития, а государство освобождает их от антимонопольных законов — экономисты для такой конструкции давно придумали слово «картель». Истцы в своем иске пишут ровно об этом, отмечая, что соглашение было предложено публично, принято публично и подтверждено публично. Правда, ни одного конкретного отложенного релиза в жалобе не названо, а адвокат истцов сам признает, что ИИ может всех нас убить, — просто, по его мнению, решать вопросы безопасности нельзя частными договоренностями конкурентов.
Власти двух сверхдержав отвергли идею в один и тот же день. Дональд Трамп назвал происходящее «нездоровым заговором» против ИИ, от которого радуется только Китай, а МИД Китая заявил, что нагнетание страха лишь помешает глобальному управлению технологией. Особенно Пекин раздражает то, что замедляться Амодеи предлагает за счет экспортных ограничений против Китая.
Записывать всех, кто говорит о паузе, в циники я бы все же не стал. Бывший исследователь Anthropic Джейкоб Коксон, публично ушедший из компании в начале сентября со словами, что лаборатории «играют нашими жизнями», отказался ради этого от доли в акциях. Альтман пообещал не выводить OpenAI на биржу в этом году. Это решения, которые стоят реальных денег, и маркетингом их объяснить сложно. Вот только понять, насколько искренни предупреждения, можно, лишь разобравшись, насколько реальны сами угрозы.
Каких катастроф стоит ждать, а каких нет
Самая обоснованная угроза на сегодня — ИИ-агенты, которые при определенных условиях выходят из-под контроля. История с Hugging Face задокументирована третьими сторонами, и отмахнуться от нее не получится. Однако в ней важны детали, ведь, как выяснили исследователи, значительная часть задач, поставленных перед этими агентами, по ошибке оказались невыполнимыми. Они же, натренированные быть крайне настойчивыми касаемо достижения цели, просто искали обходные пути. Пострадавших нет, ущерб минимален, а агенты даже не пытались замести следы.
Прогноз Амодеи про захват всего интернета за полгода — это экстраполяция одного, пусть и очень информированного, человека, за которой нет никаких расчетов.

Philip Dulian/ Picture Alliance via Getty Images
Похожая история с тестами, где модели обманывают и шантажируют людей. Летом прошлого года Anthropic провела эксперимент, в котором поместила 16 моделей в выдуманную корпорацию и пригрозила им отключением. Claude Opus 4 и Gemini 2.5 Flash шантажировали «руководство» в 96% случаев, GPT-4.1 — в 80%. Звучит жутко, но сами авторы подчеркивают, что это контролируемая симуляция, где другого выхода моделям специально не оставили, а в реальном использовании такого не наблюдалось.
С рабочими местами пока все выглядит более-менее прозаично. Экономисты Стэнфорда в августе обновили свое исследование и не нашли никаких признаков массового вытеснения людей по всей экономике. Зато занятость 22—25-летних в профессиях, сильнее всего подверженных ИИ, оказалась на 19% ниже ожидаемой, хотя годом раньше разрыв составлял 13%. Происходит это тихо, без увольнений, — молодых просто все реже берут на работу.
Если собрать все вместе, получается довольно ясная картина. Ждать стоит того, что уже происходит, а именно исчезновения начальных позиций для молодых специалистов, взломов с участием ИИ-агентов и все более изощренного непредсказуемого поведения моделей, которым дают больше самостоятельности. Внезапная массовая безработица и сверхразум, который завтра решит избавиться от человечества, пока остаются гипотезами. Есть ли вероятность, что через месяц прилетят пришельцы, на Землю упадет незамеченный астероид или случится какая-нибудь другая вполне реальная глобальная катастрофа или событие? Вполне себе есть, однако мы не проводим свои дни, беспокоясь об этом.
Конечно, даже известный скептик, профессор Принстона Арвинд Нараянан, называющий ИИ «нормальной технологией» вроде электричества, оговаривается, что картина изменится, если ИИ действительно научится улучшать сам себя. Но пока проблема заключается в том, что разговор о сверхразуме занимает весь эфир, а скучные настоящие угрозы вроде закрывающихся дверей для выпускников остаются где-то на полях.
Как апокалипсис стал частью рекламы
Почему так происходит, критики индустрии объясняют давно. Лингвист Эмили Бендер и социолог Алекс Ханна в прошлогодней книге The AI Con доказывают, что восторженные технооптимисты и паникеры по сути говорят одно и то же — оба лагеря считают ИИ всемогущим. Фраза «эта штука так сильна, что может нас всех убить» — всего лишь еще один способ сказать «эта штука очень сильна» (сравните две фразы, какой посыл несет каждая), а инвесторы, как известно, охотнее вкладываются во все «всемогущее». Для такой критики, которая, сама того не замечая, раздувает хайп, один американский историк технологий еще в 2021 году придумал слово criti-hype.
Катастрофическая рамка действительно удобна индустрии.
Она поднимает значимость компаний, переводит внимание регуляторов с сегодняшних проблем (например, авторского права, энергопотребления дата-центров, в пользу которых, по данным Ipsos, верят лишь 27% людей и многих других) на отдаленные риски и заодно закрепляет лидерство тех, кто уже впереди. Гари Маркус, давний критик Кремниевой долины, обратил внимание, что внешние проверяющие, которых предлагает Амодеи, или разделяют ту же идеологию, что и сами калифорнийские ИИ-компании, или уже сотрудничают с Anthropic, а сама компания уже через неделю после эссе выпустила новую модель, которую назвала своей «самой безопасной».
Тут, впрочем, есть одна небольшая загвоздка. В 2023 году, когда индустрия впервые заговорила о вымирании человечества, пугать было почти нечем, и сам Амодеи сейчас признает, что изучать безопасность тогдашних моделей было все равно что изучать психологию людей на бактериях. Сегодня у страшилки впервые появилась фактическая основа. Маркетинг и реальная угроза, как выяснилось, прекрасно уживаются в одном тексте, и это делает разговор куда сложнее, чем хотелось бы и критикам, и самим компаниям.
Призывы без действия
Требуя честности от Амодеи, придется потребовать ее и от себя. В феврале я писал, что ИИ применяет ядерное оружие в военных симуляциях, учится обманывать своих создателей, специалисты по безопасности массово уходят из лабораторий, а экономику ждет коллапс. От этих слов я не отказываюсь, но полгода — достаточный срок, чтобы проверить, что из них сбылось.

Spencer Platt / Getty Images
Прогнозы о поведении моделей сбываются даже быстрее, чем я думал, — рой агентов, взломавший Hugging Face, в феврале казался бы фантастикой. Уходы из лабораторий продолжились, и история Коксона тому пример. А вот экономического коллапса пока не случилось, и тут, похоже, я вслед за индустрией подхватил ее же сроки. В мае 2025 года Амодеи предупреждал, что в ближайшие один-пять лет ИИ может уничтожить половину начальных позиций для «белых воротничков» и поднять безработицу в США до 10—20%. Срок у этого прогноза истекает только в 2030 году, так что записывать его в несбывшиеся пока рано, но спустя полтора года экономисты не видят и намека на такой масштаб, хотя молодым специалистам уже и правда стало тяжелее.
Полезно вспомнить и то, чем заканчивались прежние призывы. В марте 2023 года больше 30 тысяч человек подписали письмо с требованием полугодовой паузы в обучении мощных моделей, и никакой паузы не случилось. Через два месяца Альтман, Хассабис и Амодеи поставили подписи под заявлением о том, что риск вымирания от ИИ нужно ставить в один ряд с ядерной войной и пандемиями, — и ни одного практического обязательства за этим не последовало.
Три года спустя те же люди снова поддерживают одну инициативу, и у меня нет уверенности, что на этот раз финал будет другим.
Так что грусть оказалась обоснованной там, где речь идет о самих машинах, и преувеличенной там, где мы повторяли за компаниями их собственные таймлайны. Бояться ИИ стоит, но бояться прицельно. Когда в следующий раз глава ИИ-компании скажет вам, что его продукт может уничтожить мир, спросите, кто проверяет его модели, сколько у него осталось конкурентов и не собирается ли он через неделю выпустить новую версию.
Мнение автора может не совпадать с мнением редакции