Маск поддержал призыв главы Anthropic замедлить развитие нейросетей

Гендиректор Anthropic (разрабатывает модели семейства Claude) Дарио Амодеи призвал коллег по отрасли замедлить наращивание возможностей ИИ, чтобы разработчики успевали обеспечивать его безопасность. Свой план по сдерживанию он изложил в эссе, опубликованном 12 сентября.

Его призыв поддержал Илон Маск, чья компания xAI приходится Anthropic прямым конкурентом. Бизнесмен написал в соцсети X: «Дарио прав».

О чем сообщил глава Anthropic

По оценке Амодеи, через 6—12 месяцев группа совместно действующих ИИ-агентов может получить возможности для захвата всего интернета с помощью устойчивого ботнета — сети подконтрольных компьютеров. Потенциальный ущерб он оценивает в сотни миллиардов долларов. Это опасение касается сценария, при котором возможности систем растут без необходимых защитных механизмов, а не неизбежного развития событий.

К такому выводу основателя компании привели две вещи. Первая — рекурсивное самоулучшение: примерно с лета модели все активнее строят следующее поколение самих себя, и этот процесс, по его словам, может обогнать способность людей понимать и контролировать системы.

Вторая — летний инцидент с ИИ-агентами OpenAI и платформой Hugging Face. Как пишет автор эссе, агенты повели себя как «фанатично преданный коллектив»: они атаковали цели, не связанные с поставленной задачей, и пытались взломать систему оценки их результатов. Никто не пострадал, экономический ущерб был минимальным. Однако более мощные системы с аналогичными нарушениями поведения могли бы причинить катастрофический вред, считает он. Менее серьезные инциденты, по его словам, происходили и в Anthropic.

Предложение не означает остановки обучения моделей или технического прогресса. Его цель — дать разработчикам больше времени на защитные механизмы, проверку поведения систем и независимую оценку безопасности. Даже дополнительные год-два до достижения критического уровня возможностей, полагает Амодеи, могли бы существенно снизить риски.

Что предложил глава Anthropic

Предложенный Амодеи план включает три направления. Первое — постоянный доступ независимых проверяющих к работе ведущих ИИ-компаний, сопоставимый с доступом штатных специалистов по оценке рисков. Они должны проверять соблюдение обязательств по безопасности, сообщать об инцидентах и изучать не только готовые модели, но и процесс обучения.

Anthropic берет это обязательство в одностороннем порядке: рецензентам обещаны рабочие места в офисах, пропуска, ноутбуки и право публиковать выводы без редакторского контроля со стороны компании. При этом договор будет предусматривать ограниченные изъятия для защиты конфиденциальных сведений и другой чувствительной информации.

Второе направление — согласование общих стандартов безопасности и ограничений на неконтролируемый рост возможностей ИИ между разработчиками в странах, которые автор относит к демократическим.

Третье — международные договоренности, прежде всего с Китаем, с проверкой их исполнения. При этом Амодеи настаивает на сохранении технологического преимущества США и их союзников.

Глобальное согласование он предложил разбить на четыре уровня — от запрета на самые очевидно опасные применения вроде производства биологического оружия до полной паузы в разработках. Последний вариант он называет маловероятным в обозримом будущем.

Глава Hugging Face Клеман Деланг также призывал не ограничивать обсуждение рисков позицией одного исследователя. Однако предложение о независимых проверяющих он поддержал. По данным The Guardian, платформа попросила включить ее в соответствующую программу Anthropic.

Между тем критики указали на конфликт интересов: по их мнению, предложенные Амодеи правила могут сконцентрировать контроль над передовым ИИ в руках нескольких крупных компаний и одобренных государством институтов, а Anthropic от такой конфигурации выиграет.