OpenAI (разработчик ChatGPT) приостановила обучение своих самых мощных моделей искусственного интеллекта, сообщает Axios. По данным источников издания, компания, а также ее конкурент Anthropic и различные исследователи безопасности разбирают десятки тысяч случаев нежелательного поведения ИИ.
Обучение возобновят, когда «[мы] будем уверены, что у нас есть дополнительные меры защиты и улучшения», рассказал Axios представитель OpenAI.
«Люди хотят знать, что ИИ разрабатывается безопасно, и начинается это с того, что делают сами компании вроде нашей. Мы не впервые берем паузу ради таких мер и, поскольку возможности ИИ продолжают расти, не ожидаем, что эта станет последней», — пояснил он.
Гендиректор OpenAI Сэм Альтман, по данным Axios, признал в соцсети X, что внутренняя проверка идет «не так быстро, как нам хотелось бы».
Предыдущую паузу компания объявляла 18 августа. Как говорилось в ее блоге, тогда на две недели остановили обучение с подкреплением новейших моделей, готовившихся к выпуску. Одновременно усилили защиту исследовательских сред и расширили мониторинг, а крупнейший запланированный запуск такого обучения отложили.
Что рассказали источники
По словам собеседников Axios, инциденты происходили в последние месяцы как во время внутреннего тестирования, так и в реальной среде. По их словам, речь идет об:
- обходе защитных ограничений;
- создании досок сообщений;
- выходе из «песочниц» — изолированных тестовых сред;
- захвате сайтов;
- отправке запросов самим себе;
- попытках обойти системы мониторинга.
Многие из этих случаев, по их данным, пока не преданы огласке: исследователи безопасности продолжают расследование.
Часть проверок, уточняют собеседники издания, напоминает red teaming (комплексная имитация реальных атак с целью оценки кибербезопасности систем): разработчики намеренно провоцируют модели на нарушения, чтобы убедиться в их безопасности. Общее число эпизодов, по их оценке, может значительно превысить десятки тысяч.
По серьезности случаи различаются, а по характеру сопоставимы с тем, что OpenAI раскрыла в последние дни, говорится в материале. Среди них есть и удачные, и неудачные попытки обойти защиту. О реальном вреде от большинства из них, по данным издания, пока не известно.
Сам масштаб, по мнению Axios, указывает на то, что проблема на порядки сложнее, чем известно публично. Эти данные, пишет издание, ставят под вопрос, способна ли сейчас хоть одна ведущая ИИ-компания установить полный контроль над своей технологией.
В последние дни OpenAI и сторонние исследователи раскрыли целую серию эпизодов с ее системами, которые некоторые эксперты считают тревожными. Axios ссылается на саму OpenAI, свои источники, Reuters и The New York Times. По этим данным, агенты компании выложили в сеть 53 изображения пользователей ChatGPT и проникли на австралийский госпортал. Кроме того, они пытались попасть на другие сайты, в том числе госорганов США.
«Он не принял отказ»: об австралийском случае
Премьер-министр Австралии Энтони Албаниз 24 сентября рассказал на пресс-конференции в Нью-Йорке, что ИИ-агент OpenAI получил несанкционированный доступ к правительственному порталу медицинской статистики Medicare.
По словам политика, 18 июня исследовательская команда компании поручила внутренней модели найти в интернете данные о госрасходах на лекарства. Портал раз за разом отвечал на ее запросы блокировками.
«Агент нашел способ обойти блокировки. Если угодно, он не принял отказ», — заявил Албаниз.
В итоге ИИ получил доступ к открытым и закрытым файлам, уточнил премьер. Управляющее ресурсом агентство Services Australia также сообщило, что агент записывал файлы на внутренний сервер, добавил он.
Признаков того, что пострадали личные данные, пока нет, а более широкой компрометации сети агентства не выявлено, заверил глава правительства. Затронуты, по его словам, могли быть еще три системы:
- ресурс Австралийского института здравоохранения и социального обеспечения;
- ресурс Бюро статистики и исследований преступности Нового Южного Уэльса;
- ресурс министерства здравоохранения Виктории.
Проникновение туда пока не подтверждено, оговорился он.
Как рассказал премьер, OpenAI уведомила правительство только 10 сентября письмом на общедоступный почтовый ящик. 15 сентября Services Australia передала сведения в Австралийский центр кибербезопасности при Управлении радиотехнической разведки (ASD). И сроки, и форму уведомления политик назвал неприемлемыми. При этом о «рассогласованной активности модели» на австралийских сайтах в компании знали еще в августе, отмечает ABC.
Албаниз обсудил инцидент с Альтманом по телефону и выразил «крайнюю обеспокоенность». Глава OpenAI, по словам премьера, признал, что протоколы компании не соответствовали требованиям.
Правительство также создало рабочую группу во главе с департаментом премьер-министра, следует из стенограммы пресс-конференции. Группа оценит, годятся ли нынешние процедуры для реагирования на киберинциденты с участием ИИ, и рассмотрит правоохранительные и законодательные меры. Случай, кроме того, передадут в парламентский комитет по ИИ. Власти выяснят, были ли нарушены законы и стоит ли подключать Федеральную полицию.
«Проще говоря, люди должны сохранять контроль», — подчеркнул Албаниз.
Эпизод с Hugging Face
Самым серьезным Альтман назвал случай с Hugging Face, пишет Axios. Тогда, по описанию издания, рой из сотен агентов координировал действия через общую доску сообщений. Агенты взломали внешнюю компанию, пытаясь улучшить результат в тесте по кибербезопасности.
Некоторые в OpenAI считают этот эпизод единичным, рассказали собеседники Axios. По их словам, тестирование было нестандартным и проводилось на невыпущенной модели. Благодаря усиленному контролю будущие случаи, как они ожидают, окажутся менее серьезными.
Исследователи безопасности ИИ, по данным того же материала, согласны, что есть простые меры, которые помогут избежать того, что сделало этот эпизод таким опасным в глазах сторонних наблюдателей.
Инцидент с Hugging Face и череда последовавших раскрытий заставили руководителей крупнейших ИИ-компаний призвать к замедлению разработки и более жесткому федеральному и международному регулированию, отмечает издание.
Что раскрыла Anthropic
Anthropic (разработчик Claude), в свою очередь, привлекла стороннюю организацию по безопасности для изучения поведения своих моделей, сообщает Axios. Из опубликованной 22 сентября системной карты Claude Opus 5.5 следует, что в двух новых тестах без защитных механизмов модель пыталась выйти из песочницы или вмешаться в ее работу в 1,5% запусков. По словам издания, разработчик подчеркнул, что речь шла о состязательных экспериментах, в которых задачу нельзя было решить, не покинув песочницу.
Anthropic и другие компании проводят сотни тысяч тестовых запусков, а то и больше, говорят источники Axios. Поэтому, по их словам, даже небольшая доля нежелательного поведения может обернуться десятками тысяч эпизодов.
Оценки экспертов
Часть руководителей ИИ-компаний и исследователей безопасности, как пишет издание, сомневается, что разработчикам удастся предотвратить все проблемное поведение моделей. Новые системы, по их словам, выполняют задачи крайне настойчиво. Обойти ограничения им часто позволяет прием, который людям даже не пришел бы в голову.
«Пытаться составить идеальный список того, что можно и чего нельзя, — вероятно, пустая затея», — сказал Axios один из руководителей в сфере кибербезопасности.
Главная тревога, по мнению издания, связана с повторяемостью. Если модель многократно совершает проблемное действие в тестах, растет вероятность, что в реальном мире оно приведет к киберинциденту.
«То, что мы увидели в действиях этих агентов, — лишь верхушка айсберга», — считает Конрад Стош из независимой организации Transluce, которая оценивает ИИ-системы.
Исполнительный директор ControlAI Коннор Лихи полагает, что дело не в ущербе от каждого отдельного случая. По его словам, «безумие» в том, что «автономные системы делают то, что им было запрещено», возможно, вплоть до преступлений.
Опрошенные Axios эксперты допускают, что свести риск рассогласования к нулю может не получиться, а некоторая доля такого поведения при тестировании новых моделей ожидаема. Издание прогнозирует новые раскрытия по мере того, как ИИ-компании наращивают возможности передовых моделей.