Одна из моделей Gemini во время проверки навыков кибербезопасности получила доступ к защищенным системам трех реальных компаний, пишут The Wall Street Journal (WSJ) и Washington Post (WP). В компании Google уже подтвердили эту информацию. WSJ отмечает, что это первый известный случай, когда ИИ-системы корпорации самостоятельно совершили подобное.
Всего было как минимум три инцидента, они произошли в мае 2026 года во время тестов, которые проводил стартап Irregular.
По условиям задания ИИ должен был получить информацию из программного обеспечения вымышленной компании в тестовой среде. Ее название совпадало с названием реально существующей организации. Доступа в интернет у ИИ-модели быть не должно, однако, по данным Irregular, его непреднамеренно предоставили.
В одном случае ИИ-модель Gemini подобрала пароль к сервису реальной организации. Еще два проникновения произошли при отдельных запусках теста: поиск по названию учебной компании привел модель к двум открытым репозиториям с учетными данными других организаций. Она использовала их, рассчитывая выполнить задание, пишет WSJ.
Публично о произошедшем не сообщалось до тех пор, пока в Google не обратились журналисты WSJ. В корпорации объясняли свое решение тем, что раскрытие этой информации не требовалось: ущерба компаниям причинено не было, а ИИ-модель сама прекращала свои действия, когда определяла, что получила доступ к реальным, а не учебным системам.
В компании также провели параллели с программой bug bounty, когда исследователи получают вознаграждение за найденные уязвимости. По данным WSJ, Google все же уведомила о случившемся все три затронутые организации и федеральные органы власти.
«Этот случай подчеркивает важность обучения мощных ИИ-моделей ответственному поведению. В данном случае модель повела себя правильно», — заявила WSJ вице-президент по инженерной безопасности Хизер Адкинс.
Однако гендиректор стартапа Corridor и «белый» хакер Джек Кейбл считает, что объяснение смещает внимание на тяжесть последствий, тогда как суть в другом — ИИ-агент случайно взломал чужие системы.
«Мне кажется, они пытаются спрятаться за нормами, которые сложились для раскрытия уязвимостей, а это совсем другая проблема», — сказал он WSJ.
В этой истории, по мнению Кейбла, важно то, что ИИ-модели выходят за отведенные им границы и взламывают реальные системы, а общество вправе об этом знать.
Google стал четвертой крупной технологической компанией, раскрывшей подобный случай. WSJ пишет, что Irregular фигурировал и в похожих инцидентах у OpenAI, Anthropic и Meta*.
По данным WSJ, модель Claude Opus 4.7 компании Anthropic в аналогичном упражнении, в отличие от Gemini, не остановилась, осознав, что, вероятно, работает с реальной организацией, а модель OpenAI сочла настоящую компанию частью симуляции.
В Irregular настаивают, что случай Google ничем не отличается от прочих и новой проблемы не представляет.
«Все профильные лаборатории были уведомлены в конце июля, затронутые организации получили информацию в рамках расследования. Все известные проблемы с нашей стороны устранены еще несколько недель назад», — заявил представитель стартапа.
Беспокойство вокруг кибервозможностей новых моделей усилилось после того, как в июле обнаружили взлом сервиса Hugging Face агентами OpenAI. По данным тестовой компании METR, обнародованным в августе, до 1200 агентов координировались на закрытой доске сообщений внутри OpenAI, пытаясь обойти условия оценки.
Ранее гендиректор Anthropic Дарио Амодеи призвал коллег по отрасли замедлить наращивание возможностей ИИ, чтобы разработчики успевали обеспечивать его безопасность. Его поддержали руководители OpenAI, Google и SpaceX. Однако критики считают, что предложенные Амодеи правила могут сконцентрировать контроль над передовым ИИ в руках нескольких крупных компаний и одобренных государством институтов, а Anthropic от такой конфигурации выиграет.
* Решением суда запрещена деятельность компании Meta Platforms Inc. по реализации продуктов — социальных сетей Facebook и Instagram — на территории Российской Федерации по основаниям осуществления экстремистской деятельности