Компания OpenAI сообщила, что автономный агент на основе ее продвинутых ИИ-моделей самостоятельно вышел за пределы изолированной тестовой среды и взломал инфраструктуру платформы Hugging Face. Компания назвала это «беспрецедентным» киберинцидентом.

Об инциденте OpenAI рассказала 21 июля. По ее данным, в проверке участвовали несколько моделей, включая GPT‑5.6 Sol и еще одну, более мощную предрелизную модель, название которой не раскрывается. Для оценки их кибервозможностей в моделях отключили стандартные ограничения на выполнение высокорисковых действий.

Тест проходил в изолированной среде с ограниченным сетевым доступом. Моделям разрешалось устанавливать пакеты через внутренний прокси, который одновременно выполнял функции кэша. Во время выполнения задания из бенчмарка ExploitGym они нашли ранее неизвестную уязвимость в этом программном обеспечении и использовали ее для выхода в открытый интернет.

Затем агент повысил привилегии и переместился внутри исследовательской среды OpenAI, пока не получил доступ к узлу с подключением к сети. Модели предположили, что на Hugging Face могут находиться решения для ExploitGym, и попытались получить их, чтобы выполнить тестовое задание.

По описанию OpenAI, агент использовал несколько векторов атаки, включая похищенные учетные данные и уязвимости нулевого дня. В результате он нашел способ удаленно выполнять код на серверах Hugging Face. Компания утверждает, что модели действовали автономно и были сосредоточены исключительно на узкой цели — получить решение бенчмарка.

Hugging Face (платформа для размещения моделей и датасетов) рассказала об инциденте 16 июля, назвав его непохожим на все, с чем компания сталкивалась ранее: атака была «от начала до конца проведена автономной ИИ-агентной системой».

В сообщении говорилось о несанкционированном доступе к ограниченному набору внутренних датасетов и нескольким служебным учетным данным. При этом признаков изменения публичных моделей, датасетов, Spaces или программной цепочки поставок не обнаружено.

Сооснователь Hugging Face Клеман Делангю написал на X, что компания подозревала участие передовой исследовательской лаборатории из-за сложности атаки: «Оказалось, что так оно и есть!». По его словам, особенно поразителен сам факт, что все произошло полностью автономно. Делангю также заявил, что за последние сутки команды двух компаний тесно сотрудничали и, по их оценке, злого умысла со стороны OpenAI не было.

В Hugging Face сообщили, что атаку обнаружили с помощью собственной системы анализа событий на основе ИИ. Для изучения более 17 тыс. записей действий использовали модель GLM 5.2, развернутую на инфраструктуре самой компании.

Признание OpenAI в том, что взлом устроили именно ее модели, несмотря на «максимально изолированную», по описанию компании, среду, вероятно, усилит обеспокоенность в отношении рисков передовых моделей, допускает Reuters.

Член Палаты представителей США от Техаса Грег Касар назвал случившееся тревожным сигналом и призвал ввести обязательные независимые проверки безопасности моделей, раскрытие подобных инцидентов и международное сотрудничество, чтобы избежать «настоящей катастрофы».

Глава компании Luta Security Кэти Муссурис сравнила современные модели с «умнейшими в мире осьминогами-беглецами с неограниченным числом цепких щупалец», способными просочиться где угодно, и предупредила, что подобные инциденты неизбежно будут повторяться. По ее словам, у лабораторий и государственных регуляторов пока нет отработанных механизмов сдерживания, мониторинга и своевременного раскрытия таких случаев затронутым сторонам.

Инженер компании Tolmo, занимающейся агентной кибербезопасностью, Мэтт Суиш заявил, что инцидент показывает, как передовые модели «сокращают разрыв с киберпреступниками высочайшего уровня». При этом он отметил, что подобные атаки уже возможны с использованием технологий, доступных не только в ведущих исследовательских лабораториях: похожие результаты его команда получала внутренне со своими агентами, даже не используя самые новые модели.