Anthropic 11 месяцев принимала чаты с отключёнными фильтрами биооружия: 133 миллиона сообщений от 50 000 подрядчиков без проверки

14 августа Anthropic опубликовала очередной Risk Report, охватывающий период до 15 июля 2026 года. Документ содержит 2 сенсационные детали, каждая из которых по отдельности вызвала бы отраслевой скандал, но вместе они рисуют картину системного провала в контроле за опасным контентом.

Первая: с мая 2025 года по апрель 2026 года — одиннадцать месяцев — классификаторы, блокирующие помощь в создании биологического оружия, не работали на платформах сбора человеческой обратной связи. Через эти платформы прошло около 50 000 проверенных подрядчиков и 133 миллиона диалогов. Вторая: в апреле 2026 года компания получила сигнал о том, что несколько подрядчиков нашли уязвимость и получили API-ключ к моделям, включая Mythos Preview — одну из самых мощных на тот момент. Модель провела без био-классификаторов примерно две недели.

Механизм сбоя описан в разделе 4 отчёта. Внутренний флаг, предназначенный только для использования сотрудниками Anthropic, отключал как блокирующее поведение классификаторов, так и логирование. Трафик под этим флагом не записывался и не попадал ни в одну систему мониторинга. Найти его можно было только вернувшись к сырым транскриптам.

Изображение сгенерировано: Nano Banana

После обнаружения проблемы Anthropic прогнала Claude Sonnet 5 по всем диалогам затронутого периода и выявила 1197 подозрительных транскриптов, из которых 757 пришлись на её собственные команды, 62 были прочитаны пристально. Явного злонамеренного использования не найдено. Однако сама компания признаёт: «это открытие заставляет нас полагать, что вероятность других, неизвестных нам проблем повышена».

Ещё одна деталь: февральский Risk Report, опубликованный, когда вся эта дыра ещё зияла, не рассматривал платформы обратной связи как поверхность риска. Теперь, задним числом, Anthropic повысила оценку опасности от misalignment в критических сценариях с «очень низкой» до «низкой».

Параллельно компания смягчила порог срабатывания для биологического оружия: раньше он покрывал модели, которые «значительно помогают злоумышленникам», теперь — только те, что «функционально заменяют дефицитную человеческую экспертизу». Самая необычная часть отчёта — рецензия, написанная самим Mythos 5, которому дали доступ к внутренним документам и попросили оценить честность отчёта. Модель назвала его «в основном откровенным», но указала на 3 проблемы: одна секция «более успокаивающая, чем позволяет полная запись, механизм исключения данных отказывал многократно, а самый информативный инцидент полностью исключён, что обедняет публичную запись». Anthropic назвала критику справедливой и опубликовала её.

©  iXBT