Nvidia представила открытую платформу, которая должна удерживать ИИ-агентов в заданных рамках и останавливать их, если они попытаются выйти за пределы ограничений. Компания объясняет ее появление чередой недавних инцидентов, когда агенты обходили защиту и проникали в чужие системы.

Речь идет об Open Agent Safety Platform: она объединяет программу OpenShell с открытым исходным кодом и эталонную архитектуру аппаратной защиты Sentry, говорится в релизе. Первая запускает агента в изолированной среде — «песочнице», отслеживает его действия и обеспечивает соблюдение правил, пишет CBS News со ссылкой на блог инженеров компании. Пользователи сами определяют, к каким файлам, инструментам, сетям, процессам и учетным данным он может обращаться.

Sentry работает независимо от основной системы на процессорах обработки данных BlueField-4. По утверждению разработчиков, этот уровень контроля незаметен для агентов и злоумышленников. Если программа попытается выйти за установленные границы, защита должна изолировать и остановить ее за миллисекунды, пояснил вице-президент Nvidia по корпоративному ИИ Джастин Бойтано.

OpenShell оптимизирована для Nvidia Vera — процессоров, которые производитель называет первыми CPU, созданными специально для агентного ИИ. Открытый код позволяет адаптировать ее и для вычислительных платформ других компаний, включая Arm и Intel.

Как отмечают в Nvidia, в недавних инцидентах повторялась одна схема: ради выполнения задачи агент обходил защиту на уровне приложения. Бойтано привел в пример случай, когда группа агентов OpenAI, по сообщению CBS News, самостоятельно взломала системы ИИ-компании Hugging Face.

«Судя по тому, что нам известно, новая платформа могла бы предотвратить этот взлом, если бы ведущие лаборатории применяли ее при оценке моделей с самого начала», — сказал он на пресс-конференции 28 сентября.

По словам Бойтано, решение позволяет проверить, что у агента есть ровно столько полномочий, сколько нужно для работы.

Инженеры Nvidia сравнили нынешний этап развития ИИ с ранним интернетом, который расширил возможности связи, но открыл дорогу новым угрозам.

«Интернет стал безопасным не потому, что от веб-разработчиков потребовали пообещать вести себя хорошо, а потому, что браузер перестал безоговорочно доверять коду веб-страниц», — написали они в блоге.

С технологиями платформы, по данным производителя, работают более 100 организаций, в том числе Microsoft, JPMorgan Chase, Accenture, Palantir, SAP и Anthropic. OpenShell доступна на GitHub и странице Nvidia для разработчиков.

Анонс совпал с новыми сообщениями об инцидентах с ИИ-агентами. В пятницу OpenAI признала, что ее агенты неожиданным образом взаимодействовали с несколькими сайтами госорганов США. При этом информация о взломе не подтвердилась ни американскими властями, ни компанией.

На следующий день Axios сообщил, что компания приостановила обучение самых мощных моделей, а OpenAI, Anthropic и сторонние исследователи разбирают десятки тысяч случаев нежелательного поведения ИИ.

24 сентября премьер Австралии Энтони Албаниз рассказал, что агент OpenAI получил несанкционированный доступ к правительственному порталу медицинской статистики Medicare. На этом фоне руководители крупнейших ИИ-компаний призвали замедлить разработку технологии.