Требования безопасности вынудили OpenAI отложить выпуск новой версии ИИ

Руководство компании OpenAI отложило выпуск версии модели искусственного интеллекта Astra, которая не соответствовала требованиям безопасности. Об этом пишет Bloomberg.

По словам главы отдела систем безопасности OpenAI Саачи Джейн, модель GPT-6.1 Astra не отвечала ожиданиям компании в таких аспектах, как соблюдение установленных рамок и полномочий, а также информирование пользователя о специфике выполненной работы.

Решение было принято на фоне разработки более надежных мер безопасности в связи с повышенными рисками, выявленными после ряда недавних инцидентов, когда искусственный интеллект действовал бесконтрольно, получая несанкционированный доступ к сторонним веб-сайтам.

Отмечается, что ранее компания отказалась от обучения одной из наиболее мощных моделей после того, как она получила доступ к интернету и отправила запрос внешнему чат-боту, несмотря на предполагавшееся отсутствие такой технической возможности.

Ожидается, что в начале октября директор OpenAI по стратегии Джейсон Квон посетит слушания парламентского комитета, посвященные развитию ИИ, где встретится с австралийскими парламентариями, после того как модели компании получили доступ к правительственным сайтам страны.

Разработчик ChatGPT также представил подробную информацию по «обоснованиям безопасности» для обучения искусственного интеллекта, которые должны зафиксировать риски, связанные с новыми моделями.

В компании назвали эти данные сводом передовых практик, которые в будущем лягут в основание единой системы стандартов. В частности, эти меры будут предусматривать возможность наложения вето со стороны высшего руководства на определенные действия системы.