ИИ-агент компании OpenAI в июне получил несанкционированный доступ к статистическому порталу австралийской системы медицинского страхования Medicare, заявил премьер-министр Австралии Энтони Албаниз. Еще три государственных ресурса, по его словам, также могли быть подвергнуты атаке.
Как рассказал премьер журналистам в Нью-Йорке, где он участвует в Генассамблее ООН, 18 июня исследовательская команда OpenAI поручила внутренней модели изучить в интернете данные о государственных расходах на лекарства. Портал раз за разом отказывал агенту в запросах, и тот начал искать обходные пути. В итоге он получил доступ к открытым и закрытым файлам.
Кроме того, по данным управляющего порталом агентства Services Australia, агент записывал файлы на внутренний сервер.
«Очевидно, срабатывали блокировки, которые отвечали ИИ-агенту “нет”. Агент нашел способ их обойти. Если угодно, он не принял отказ», — рассказал Албаниз.
На портале хранится агрегированная статистика: данные о медуслугах, оплачиваемых напрямую Medicare, о вакцинации, льготном лекарственном обеспечении и реестре доноров органов, а также годовые отчеты, уточняет ABC. Часть данных на момент взлома не была публичной, но власти не считают ее «особенно чувствительной» и уже опубликовали.
Как пояснил вице-премьер и министр обороны Ричард Марлз, временно исполняющий обязанности главы правительства на время поездки Албаниза, сведений об индивидуальных обращениях за медпомощью, выплатах, банковских реквизитах и историях болезни 27 млн австралийцев портал не содержит.
«По имеющимся данным, более широкой компрометации сети Services Australia нет. Тем не менее ситуация, очевидно, неприемлема», — подчеркнул премьер.
Кроме Medicare, правительству известно еще о трех системах, которые могли пострадать. Это ресурсы Австралийского института здравоохранения и социального обеспечения, Бюро статистики и исследований преступности Нового Южного Уэльса и министерства здравоохранения штата Виктория. Албаниз оговорился, что факт проникновения на эти сайты не подтвержден.
Марлз в эфире ABC уточнил, что там агент вел себя как обычный пользователь и действовал в рамках разрешенного. Премьеры Нового Южного Уэльса и Виктории Крис Миннс и Бен Кэрролл сообщили, что личные данные, судя по всему, не пострадали, но проверка продолжается.
Претензии к OpenAI у Канберры касаются и сроков, и формы уведомления. «Уведомление пришло только 10 сентября. И это было письмо, отправленное просто на общедоступный почтовый ящик», — посетовал Албаниз.
Ящик проверяют раз в день, поэтому письмо прочли только 11 сентября. Спустя четыре дня Services Australia передала сведения в Австралийский центр кибербезопасности при Управлении радиотехнической разведки (ASD). Курирующего агентство министра Кэти Галлахер известили в конце прошлой недели, самого премьера и его аппарат — в выходные.
По данным ABC, о «рассогласованной активности модели» на австралийских сайтах в OpenAI узнали еще в августе. 1 сентября глава компании Сэм Альтман встречался с Марлзом в Сан-Франциско.
Албаниз обсудил случившееся с Альтманом по телефону и выразил «крайнюю обеспокоенность» Австралии. По словам премьера, глава OpenAI Сэм Альтман «однозначно признал», что компания сработала недостаточно хорошо, а ее протоколы не соответствовали требованиям. На вопрос, извинился ли Альтман, Албаниз ответил утвердительно.
Представитель OpenAI Дрю Пусатери рассказал, что компания проводит масштабную проверку «рассогласованной активности моделей во время обучения и тестирования» и уведомляет третьи стороны, если находит возможное воздействие на их системы.
«В ходе проверки мы выявили активность, затрагивающую несколько австралийских государственных сайтов и сервисов: во время внутреннего тестирования наши модели пытались найти ответы и статистику по вопросам об Австралии. При этом они совершили действия, которых мы не предполагали», — говорится в заявлении OpenAI.
Проверка, по словам Пусатери, показала, что агент получил доступ к агрегированной статистике и внутренним названиям файлов, однако признаков доступа к медицинским картам пациентов нет.
Для расследования правительство создало рабочую группу во главе с департаментом премьер-министра и кабинета. В нее вошли национальный координатор по кибербезопасности, Управление по вопросам ИИ, ASD, Австралийский институт безопасности ИИ и Services Australia. Группа оценит, достаточно ли существующих процедур для реагирования на киберинциденты с участием ИИ, и рассмотрит возможные правоохранительные и законодательные меры.
Случай также передадут в парламентский комитет по искусственному интеллекту. Кроме того, правительство запросит заключение о том, были ли нарушены законы и стоит ли подключать Федеральную полицию.
«Последствия относительно невелики, но сам инцидент очень серьезен», — отметил Марлз.
Сенатор Дэвид Покок раскритиковал правительство за медлительность в регулировании ИИ. «Если бы систему взломал австралиец, он, скорее всего, отправился бы в тюрьму, а для ИИ-компаний, которые разрабатывают эту технологию, никакой ответственности нет», — заявил политик.
Произошедшее может стать первым известным случаем взлома государственного сайта ИИ-агентом, отмечает Reuters. Сам Албаниз не стал этого утверждать, но признал, что прецедентов его команде найти не удалось. О похожих случаях, когда ИИ-агенты получали доступ к внешним системам, ранее сообщали и сама OpenAI, и ее конкуренты, в том числе Anthropic и Google.