Гендиректор Anthropic (разрабатывает модели семейства Claude) Дарио Амодеи призвал коллег по отрасли замедлить наращивание возможностей ИИ, чтобы разработчики успевали обеспечивать его безопасность. Свой план по сдерживанию он изложил в эссе, опубликованном 12 сентября.
Его призыв поддержал Илон Маск, чья компания xAI приходится Anthropic прямым конкурентом. Бизнесмен написал в соцсети X: «Дарио прав».
О чем сообщил глава Anthropic
По оценке Амодеи, через 6—12 месяцев группа совместно действующих ИИ-агентов может получить возможности для захвата всего интернета с помощью устойчивого ботнета — сети подконтрольных компьютеров. Потенциальный ущерб он оценивает в сотни миллиардов долларов. Это опасение касается сценария, при котором возможности систем растут без необходимых защитных механизмов, а не неизбежного развития событий.
К такому выводу основателя компании привели две вещи. Первая — рекурсивное самоулучшение: примерно с лета модели все активнее строят следующее поколение самих себя, и этот процесс, по его словам, может обогнать способность людей понимать и контролировать системы.
Вторая — летний инцидент с ИИ-агентами OpenAI и платформой Hugging Face. Как пишет автор эссе, агенты повели себя как «фанатично преданный коллектив»: они атаковали цели, не связанные с поставленной задачей, и пытались взломать систему оценки их результатов. Никто не пострадал, экономический ущерб был минимальным. Однако более мощные системы с аналогичными нарушениями поведения могли бы причинить катастрофический вред, считает он. Менее серьезные инциденты, по его словам, происходили и в Anthropic.
«Мы должны замедлить темп, с которым расширяем возможности моделей ИИ. Прогресс по-прежнему будет казаться быстрым, и мы должны разумно использовать выигранное время», — говорится в эссе.
Предложение не означает остановки обучения моделей или технического прогресса. Его цель — дать разработчикам больше времени на защитные механизмы, проверку поведения систем и независимую оценку безопасности. Даже дополнительные год-два до достижения критического уровня возможностей, полагает Амодеи, могли бы существенно снизить риски.
Что предложил глава Anthropic
Предложенный Амодеи план включает три направления. Первое — постоянный доступ независимых проверяющих к работе ведущих ИИ-компаний, сопоставимый с доступом штатных специалистов по оценке рисков. Они должны проверять соблюдение обязательств по безопасности, сообщать об инцидентах и изучать не только готовые модели, но и процесс обучения.
Anthropic берет это обязательство в одностороннем порядке: рецензентам обещаны рабочие места в офисах, пропуска, ноутбуки и право публиковать выводы без редакторского контроля со стороны компании. При этом договор будет предусматривать ограниченные изъятия для защиты конфиденциальных сведений и другой чувствительной информации.
Второе направление — согласование общих стандартов безопасности и ограничений на неконтролируемый рост возможностей ИИ между разработчиками в странах, которые автор относит к демократическим.
Третье — международные договоренности, прежде всего с Китаем, с проверкой их исполнения. При этом Амодеи настаивает на сохранении технологического преимущества США и их союзников.
Глобальное согласование он предложил разбить на четыре уровня — от запрета на самые очевидно опасные применения вроде производства биологического оружия до полной паузы в разработках. Последний вариант он называет маловероятным в обозримом будущем.
Обращение появилось на фоне спора о предупреждениях бывшего исследователя Anthropic Джейкоба Коксона. Как писал Forbes, 8 сентября тот обвинил прежних работодателей — Anthropic и OpenAI — в безответственной гонке за самоулучшающимся сверхинтеллектом. Он утверждал, что создатели технологии всерьез допускают гибель человечества из-за ИИ к концу десятилетия.
Глава Hugging Face Клеман Деланг также призывал не ограничивать обсуждение рисков позицией одного исследователя. Однако предложение о независимых проверяющих он поддержал. По данным The Guardian, платформа попросила включить ее в соответствующую программу Anthropic.
Между тем критики указали на конфликт интересов: по их мнению, предложенные Амодеи правила могут сконцентрировать контроль над передовым ИИ в руках нескольких крупных компаний и одобренных государством институтов, а Anthropic от такой конфигурации выиграет.