Руководство компании OpenAI отложило выпуск версии модели искусственного интеллекта Astra, которая не соответствовала требованиям безопасности. Об этом пишет Bloomberg.
По словам главы отдела систем безопасности OpenAI Саачи Джейн, модель GPT-6.1 Astra не отвечала ожиданиям компании в таких аспектах, как соблюдение установленных рамок и полномочий, а также информирование пользователя о специфике выполненной работы.
Решение было принято на фоне разработки более надежных мер безопасности в связи с повышенными рисками, выявленными после ряда недавних инцидентов, когда искусственный интеллект действовал бесконтрольно, получая несанкционированный доступ к сторонним веб-сайтам.
Отмечается, что ранее компания отказалась от обучения одной из наиболее мощных моделей после того, как она получила доступ к интернету и отправила запрос внешнему чат-боту, несмотря на предполагавшееся отсутствие такой технической возможности.
Ожидается, что в начале октября директор OpenAI по стратегии Джейсон Квон посетит слушания парламентского комитета, посвященные развитию ИИ, где встретится с австралийскими парламентариями, после того как модели компании получили доступ к правительственным сайтам страны.
Разработчик ChatGPT также представил подробную информацию по «обоснованиям безопасности» для обучения искусственного интеллекта, которые должны зафиксировать риски, связанные с новыми моделями.
В компании назвали эти данные сводом передовых практик, которые в будущем лягут в основание единой системы стандартов. В частности, эти меры будут предусматривать возможность наложения вето со стороны высшего руководства на определенные действия системы.