Обзоры от искусственного интеллекта от Google начали путать фанатский хоррор SCP Foundation с реальными фактами, выдавая вымышленные «аномалии» за документированные события

Google столкнулась с новой проблемой в работе функции AI Overviews — системы кратких ИИ-ответов в поиске, которая, по сообщениям издания Futurism, начала интерпретировать материалы из вымышленной вселенной SCP Foundation как реальные научные данные.

SCP Foundation — это масштабный интернет-проект коллективного фанатского творчества, где описываются вымышленные «аномальные объекты» и явления в формате псевдонаучных отчётов. Эти материалы изначально подаются как художественная фикция, однако AI Overviews в ряде случаев, как утверждается в отчёте, не отмечали их вымышленный характер.

По данным Futurism, было обнаружено не менее 20 случаев, когда ИИ-сводки Google представляли SCP-объекты как реальные сущности. Например, при запросе про SCP-426 — вымышленный тостер, который заставляет говорящих о нём описывать себя от первого лица — система выдала ответ в аналогичной манере, фактически воспроизводя художественный вымысел без указания на то, что это выдумка.

Похожие ошибки касались других элементов вселенной SCP, включая SCP-922 и SCP-779, которые в оригинальных материалах описываются как паранормальные или биологические аномалии, но не имеют отношения к реальной науке. В ряде случаев AI Overviews использовали термин lore («лор»), однако без пояснения, что речь идёт о художественном контенте.

Источник: Pranob Mehrotra / Digital Trends

В самой SCP Foundation подчёркивается, что все описания являются вымышленными. Однако ИИ-выдача не всегда воспроизводила этот контекст, создавая у неподготовленных пользователей впечатление документальной достоверности.

При попытке воспроизвести поведение системы в некоторых случаях результат отличался: Google AI Mode для отдельных запросов помечал SCP как fictional anomaly («вымышленная аномалия»), что может указывать на частичные исправления в алгоритмах. Тем не менее, исследование подчёркивает, что подобные ошибки уже фиксировались и ранее.

Проблема выходит за рамки конкретного интернет-фэндома: AI Overviews занимают верхнюю часть поисковой выдачи, и пользователи без контекста — включая детей — могут воспринимать такие ответы как достоверные факты. Это усиливает общий риск генеративных систем, которые уверенно формулируют правдоподобные, но ошибочные утверждения.

Ранее аналогичные сбои уже приводили к странным рекомендациям и фактическим ошибкам, включая неверные исторические данные и даже опасные советы, что подчёркивает сохраняющуюся проблему надёжности ИИ-генерации в поисковых интерфейсах.

©  iXBT