Ученые США: ИИ научился незаметно переписывать человеческую память

Исследователи Массачусетского технологического института выяснили, что обработанные ИИ изображения и видео способны внушать людям ложные воспоминания, причем человек будет уверен в их подлинности сильнее, чем в реальных событиях. Об этом пишет издание Gizmodo со ссылкой на исследование под руководством профессора MIT Патти Маес.

В эксперименте приняли участие 200 человек. Сначала им показали серию оригинальных фотографий, затем часть участников повторно увидела те же снимки, а другая часть — версии, измененные нейросетью.

В ходе последующего теста на память те, кто смотрел отредактированные изображения, не только чаще ошибались при воспоминании оригинала, но и демонстрировали чрезмерную уверенность в своих ложных воспоминаниях.

Согласно данным MIT Media Lab, эффект оказался измеримым: в условиях, где участникам показывали сгенерированное ИИ видео на основе отредактированных фотографий, частота ложных воспоминаний превышала контрольную группу в 2,05 раза. Уверенность в этих вымышленных деталях была выше контрольного показателя в 1,19 раза.

Человеческая память изначально ненадежна и легко поддается внушению — это известно с XIX века. Однако именно генеративный ИИ делает проблему качественно иной. Как отмечает Gizmodo, «ИИ-контент становится только убедительнее и очень распространен в сети, и он ускоряет новую волну мошенничества и дезинформации».

Опасность не ограничивается злым умыслом. Генеративные модели подвержены «галлюцинациям» — ошибкам в выводе. По мере того как госструктуры, банки, военные и больницы ускоряют внедрение ИИ, все чаще звучит тезис о необходимости «человека в контуре» — специалиста, который проверяет результат работы системы.

Предполагается, что такой надзор позволит отлавливать ошибки до того, как они приведут к реальному ущербу.
Однако исследования показывают, что люди плохо распознают галлюцинации ИИ. Более того, если память человека уже искажена неверным выводом системы, он перестает быть независимым проверяющим.

Способность среднего пользователя отличить ИИ-контент от реального, по данным Gizmodo, «практически равна подбрасыванию монеты».

Проблема выходит за рамки лабораторий. В прошлогоднем исследовании глубокие фейки и сгенерированные тексты успешно имплантировали ложные воспоминания о полностью выдуманных политических скандалах, снижая готовность людей голосовать.

В другом эксперименте MIT, имитировавшем допрос свидетеля, генеративный чат-бот спровоцировал более чем трехкратный рост ложных воспоминаний по сравнению с контрольной группой, причем 36,4% ответов участников изменились под его влиянием прямо в ходе самого диалога.

Отдельное исследование Джорджтаунского университета и Университета Вашингтона показало: если участникам, посмотревшим видео с ДТП, давали прочитать точное описание, 83,6% правильно вспоминали деталь о дорожном знаке. Среди тех, кто читал описание с ошибкой, сгенерированное ИИ, правильный ответ дали лишь 44,8%. Предупреждение о том, что текст создан нейросетью, ошибку не устраняло.

Пока эксперты ищут способы обучения людей распознаванию дипфейков, индустрия ИИ движется к системам, которые должны работать полностью автономно, без участия человека.

Этот разрыв уже привел к трагическим последствиям: внутреннее расследование Пентагона, о котором сообщал Bloomberg, пришло к выводу, что удар США по иранской школе, убивший более 150 человек, был частично обусловлен чрезмерным доверием к данным ИИ от Palantir.