ChatGPT-User обошёл robots.txt на 54% проверенных страниц: OpenAI отдельно предупреждает о таком режиме работы

В первой половине 2026 года ChatGPT-User обращался к страницам, которые запретили ему посещать через robots.txt, в 54% зафиксированных случаев, сообщает платформа TollBit. Среди европейских сайтов в выборке это был самый высокий показатель: у Bytespider он составил 48%, у PerplexityBot — 42%. В целом по европейским и североамериканским сайтам из выборки TollBit около 15% обращений ИИ-ботов пришлись на страницы с явным запретом в robots.txt.

При этом речь идёт не о всех сайтах в интернете, а о трафике, который TollBit наблюдала в собственной сети. Компания определяет обход как успешный запрос к URL, который издатель явно запретил соответствующему боту. Поэтому статистика показывает факт обращения к запрещённым страницам, но сама по себе не устанавливает причину каждого запроса или не исключает подмену user-agent.

Изображение сгенерировано: Nano Banana

Особенность здесь связана с самим назначением ChatGPT-User. Согласно документации OpenAI, этот агент может обращаться к странице, когда пользователь задаёт ChatGPT или пользовательскому GPT вопрос, требующий получения содержимого страницы. OpenAI отдельно указывает, что агент не используется для автоматического обхода и что из-за инициирования запроса пользователем правила robots.txt могут к нему не применяться. Это отличается от инструмента OAI-SearchBot, который определяет возможность использования содержимого в ответах поиска ChatGPT, и GPTBot, предназначенного для обхода страниц, которые могут использоваться при совершенствовании базовых моделей.

Таким образом, robots.txt не является технической защитой страницы от получения содержимого. Он передаёт автоматизированным агентам указания издателя, но не запрещает серверу отдать файл по запросу. Если ресурс действительно нельзя предоставлять внешнему агенту, необходимы технические механизмы контроля доступа — аутентификация, авторизация, сетевые правила или блокировка на уровне сервера. Для команд, управляющих веб-ресурсами, это означает необходимость отдельно контролировать видимость сайта для поисковых и ИИ-сервисов и фактический доступ к данным.

©  iXBT