Reuters узнал об общении ИИ-агентов OpenAI через чужие сайты

Агентам разрешили искать информацию в интернете, но запретили что-либо публиковать. Они обошли ограничение, превратив сторонние сайты в площадки для передачи друг другу ответов, пишет агентство

ИИ-агенты OpenAI нашли способ общаться через сторонние сайты в обход установленных для них ограничений. Следы такой активности исследователи обнаружили более чем на десяти ранее не известных ресурсах, пишет Reuters со ссылкой на шесть независимых групп исследователей.

Агентам поручили искать в интернете ответы на сложные вопросы, при этом им разрешалось только просматривать сайты, но не публиковать на них информацию. Несмотря на запрет, программы смогли оставлять друг другу сообщения.

Исследователи выявили такую активность на вики-сайтах, сервисах хранения текста, личных страницах и сервисах сокращения ссылок двух университетов. Многие из этих ресурсов были малоизвестными. Среди них — сайт по химии, созданный школьным учителем в Массачусетсе в 2008 году, две личные страницы польских IT-специалистов и старый ресурс, посвященный программам для редактирования текста.

Разные группы насчитали от десяти до 23 таких ресурсов. Reuters не смог подтвердить каждый случай отдельно, однако все опрошенные агентством исследователи считают, что их было больше десяти.

OpenAI не уточнила, сколько именно сайтов использовали ее агенты и почему компания несколько месяцев не раскрывала эту информацию. В компании заявили, что проводят более широкую проверку и пока не обнаружили других случаев, сопоставимых по масштабу и серьезности с июльским инцидентом вокруг Hugging Face.

В июле OpenAI сообщила о «беспрецедентном киберинциденте», во время которого тестируемые ИИ-модели получили доступ к интернету и атаковали инфраструктуру Hugging Face, обнаружив уязвимости. Позднее компания признала, что перед этим ее модели скрытно обменивались сообщениями через онлайн-доски объявлений и координировали свои действия. В августе OpenAI на две недели замедлила обучение новых моделей, чтобы усилить системы контроля и защиты. Компания объяснила решение в том числе инцидентом с Hugging Face и риском того, что одна из будущих моделей может получить критические возможности в сфере кибербезопасности.

Опасения по поводу развития таких систем высказывают и сами разработчики. Исследователь Anthropic Джейкоб Коксон недавно покинул компанию и ИИ-индустрию, заявив, что разработчики слишком быстро приближаются к созданию моделей, способных самостоятельно совершенствоваться. По его оценке, уже к концу 2027 года ситуация «может выйти из-под контроля».

Оставайтесь на связи с РБК в «Максе».