Anthropic запретила жестокое обращение с чат-ботом Claude: что известно о новых правилах

Американская технологическая компания Anthropic обновила Политику использования, окончательно запретив "систематическое и беспричинное оскорбительное или жестокое обращение" с моделями искусственного интеллекта (ИИ). Ранее разработчик предоставил своему чат-боту Claude возможность самостоятельно прекращать общение с пользователями, которые допускают грубые выражения. Новые правила вступят в силу 12 ноября. 

В компании подчеркнули, что запрет будет действовать только в "крайних случаях" и не затронет адекватное проявление недовольства со стороны пользователей.

Основным механизмом соблюдения новых требований по-прежнему останется возможность Claude самостоятельно прекращать диалоги. Будет ли компания применять дополнительные меры, например блокировать учетные записи нарушителей, пока неизвестно. 

В августе прошлого года Anthropic объявила, что модели Claude Opus 4 и 4.1 получили возможность самостоятельно завершать диалоги в пользовательских чатах, "потенциально вызывающие у них стресс". Функция была разработана в рамках предварительных исследований так называемого "благополучия искусственного интеллекта" (model welfare). В ходе работы специалисты изучали реакции Claude, анализируя как ответы самой модели, так и ее поведение. В результате они выявили "устойчивое неприятие определенных запросов, связанных с причинением вреда".

При этом Anthropic уже тогда подчеркивала, что Claude будет прекращать общение лишь в крайнем случае – если неоднократные попытки изменить ход разговора не принесли результата. По оценке компании, подавляющее большинство пользователей не столкнется с новой функцией при обычном общении с чат-ботом. 

Другие изменения

Помимо запрета на "жестокое обращение" с моделями, Anthropic внесла в Политику использования ряд других изменений. В частности, ранее действовавшие ограничения, касающиеся введения людей в заблуждение, объединены в отдельный раздел. Так, запрещается сокрытие личности отправителя сообщений, искусственное увеличение охвата публикаций с помощью поддельных аккаунтов, а также создание инфраструктуры для проведения кампаний по манипулированию общественным мнением. 

Компания также обновила раздел, касающийся разработки оружия. Теперь прямо указывается, что существующий запрет распространяется не только на само оружие, но и на программное обеспечение и компоненты.

Отдельные изменения коснулись использования ИИ для слежки. В новой редакции документа подчеркивается, что наблюдение за людьми без их ведома или согласия не допускается независимо от того, осуществляется ли оно в режиме реального времени или посредством анализа ранее собранных данных.

Кроме того, правоохранителям запрещается использовать Claude для принятия решений или подготовки рекомендаций о том, в отношении кого следует проводить расследование, кого задерживать или кому предъявлять обвинения.

Anthropic также уточнила положения, запрещающие вмешательство в выборы. К нарушениям относятся, в частности, распространение ложной информации о кандидатах или процедуре голосования, выдача себя за кандидатов либо представителей избирательных органов, а также попытки снизить явку избирателей.