Учёные выяснили, в чём ИИ всегда проигрывает человеку

Современные языковые модели способны писать сложные тексты и решать логические задачи, но оказываются беспомощными перед простым тестом на устойчивость внимания. Группа независимых исследователей адаптировала для искусственного интеллекта классический психологический эксперимент, который обнажил фундаментальные различия между работой нейросетей и человеческого мозга. Статья вышла в журнале PNAS Nexus.

В традиционной версии теста Струпа участнику показывают названия цветов, напечатанные краской другого оттенка. Например, слово «красный» может быть написано синим шрифтом. Человек должен назвать цвет чернил, подавляя автоматическое желание прочитать слово. Психологи используют эту методику для оценки исполнительного контроля — способности фокусироваться на задании и игнорировать отвлекающие факторы.

Учёные проверили на этом испытании популярные системы, включая GPT-4o, Claude 3.5 Sonnet и Gemini 2.5. Выяснилось, что с короткими перечнями из 5 слов все модели справляются превосходно: точность ответов превысила 90 процентов. Однако как только объём задачи увеличивался, результаты резко ухудшались.

При расширении списка до 40 слов точность GPT-4o рухнула до 15%. Модель Claude 3.5 Sonnet показывала стабильные результаты на 20 словах, но после дальнейшего удлинения последовательности её показатели снизились до 24%. Нейросети просто не смогли долго удерживать в «памяти» исходную инструкцию и переключились на привычное чтение самих слов, игнорируя цвет шрифта.

Человеческий мозг, хотя и подвержен той же автоматической привычке читать, способен волевым усилием сохранять концентрацию даже на очень длинных рядах стимулов. У нейросетей такой возможности нет. Исследователи связывают это с фундаментальными ограничениями архитектуры современных языковых моделей.

Проблема возникает при работе с продолжительными последовательностями, где требуется одновременно следовать инструкции и подавлять автоматический паттерн. Это открытие подчёркивает, что даже самые продвинутые системы ИИ пока не могут воспроизвести гибкость человеческого внимания в условиях конфликтующих сигналов.