Новая статья: Порассуждай мне!

Осенью 2024 г. OpenAI представила очередную большую языковую модель (БЯМ) под скромным названием o1 — которая сразу же стала сенсацией. Прежнему флагману этой команды разработчиков, модели GPT-4o, оказались по зубам всего 12% задач престижнейшего в США математического экзамена AIME (American Invitational Mathematics Examination), получить право выдержать который Математическая ассоциация Америки предоставляет лишь избранным старшим школьникам; из успешно сдавших AIME формируется затем команда страны для участия в Международной математической олимпиаде. Так вот, модель OpenAI o1 в режиме «одна попытка на задачу» сходу набрала на этом тесте 74%, после активации консенсусного выбора корректного ответа из нескольких генераций улучшила результат до 83%, а когда экспериментаторы задействовали особую функцию переранжирования, то и до 93%. В испытании GPQA Diamond (Graduate-Level Google-Proof Q&A Diamond), которое сообщество БЯМ-разработчиков рассматривает как один из наиболее строгих тестов для оценки научного мышления (а не отыскивания заведомо известных фактов, так или иначе присутствовавших в массиве, на котором обучали модель, отметим) на уровне кандидата наук в областях биологии, физики и химии, та же OpenAI o1 получила — в режиме консенсусного сопоставления множества вариантов решений — результат 78,0%, тогда как средняя величина для «мокрого» эксперта на этом тесте самую чуточку не дотягивает до 70%. Словом, уже почти два года в мире существует БЯМ (и не одна, — намеченный o1 путь сегодня торят её прямая наследница o3, целый ряд моделей Anthropic — Claude Fable 5/Mythos 5 и Opus 4.8, а также Google Gemini 3.1 Pro, DeepSeek R1, GLM-5.2), относимые ныне к большим рассуждающим моделям (Large Reasoning Models, LRM, БРМ), которые чрезвычайно убедительно имитируют человеческое мышление по «системе 2» в классификации Даниэля Канемана (Daniel Kahneman). При этом работы над общим искусственным интеллектом (artificial general intelligence, AGI) никто не думает сворачивать, да и каких-то сверхумопомрачительных результатов БРМ не добиваются, за исключением разве что запредельной успешности Mythos в деле поиска уязвимостей в программном коде. Для чего тогда нужны рассуждающие модели, как они работают — и не тупиковый ли это путь, если главной целью развития ИИ-отрасли в целом считать получение именно AGI?

⇡#Медведи, говоришь?

Напомним, что в популяризированной Даниэлем Канеманом парадигме человеческий мозг оперирует сразу на двух, если так можно выразиться, уровнях. «Система 1» — это быстрое мышление; автоматическое формирование ментальных реакций без приложения сознательных усилий, необходимое для выживания индивида и экономии энергии: незачем рассуждать, следует ли отдёргивать руку от горячей кастрюли — и вздрагивать ли, внезапно услышав резкий звук за спиной. Энергоёмкая «система 2», напротив, реализует медленное мышление, сознательный контроль, глубокий анализ, концентрацию внимания. В обычном режиме обе системы работают параллельно: первая формирует быстрые впечатления и импульсивные реакции, и если те получают подтверждение от второй как обоснованные и разумные, то превращаются уже в осознанные убеждения и намерения. Но это только в идеале, конечно: когда встретившаяся индивиду задача нетривиальна и требует подключения «системы 2», а стремление сберечь энергию (читай — лень) пересиливает намерение досконально во всём разобраться, «система 2» подмахивает не глядя предложенную «системой 1» схему реагирования, верифицируя её как якобы осознанную — что частенько ведёт к когнитивным искажениям и прочим ошибкам мышления.

Принцип работы наиболее распространённых сегодня авторегрессионных БЯМ, на чём мы в своё время останавливались весьма подробно, в какой-то мере схож с человеческой мыслительной «системой 1». Такую модель можно рассматривать как чёрный ящик, в который уже заложены (на этапе тренировки) ответы на все вопросы, которые к ней в принципе могут обратить; заложены и зафиксированы в виде весов на входах её перцептронов. Да, некоторая же доля стохастики, что добавляется на этапе формирования очередного токена, слегка разнообразит выдачу (а порой и порождает галлюцинации), но если в исходной базе не содержалось ни единого текста о каких-нибудь медведях в космосе, авторегрессионная БЯМ ничтоже сумняшеся примется галлюцинировать на эту тему. Понятно теперь, почему так полюбившаяся пользователям за «эмпатичность» GPT-4o провалила тест AIME: усвоить, какая манера общения человеку будет приятна, ей помогло обучение на обширнейшем массиве художественных текстов, форумных постов, записей веб-чатов и т. д., тогда как ответов на уникальные математические задачи в тренировочной базе данных, ясное дело, не было —, а на многоступенчатые нетривиальные логические построения с коррекцией ошибок по ходу дела классическая БЯМ в принципе не способна.

«Значит, надо создать модель, способную к рассуждениям», — поставили перед собой, надо полагать, цель в OpenAI, после чего и принялись за проект Strawberry, плодом которого и стала БРМ o1, впервые в мире реализовавшая (с некоторыми оговорками, но о них позже) мыслительную «систему 2» на небиологическом носителе. Суть дела проста: вместо того, чтобы привычно выстраивать цепочку токенов, взяв за основу полученную подсказку, и моментально выдавать оператору ответ, рассуждающая модель сбавляет скорость. И одновременно наращивает объём производимых операций («сжигает» значительно больше токенов в пересчёте на одну решённую задачу, грубо говоря): последовательно верифицирует параметры исходного запроса (чтобы не попадать впросак из-за тех же медведей в космосе), составляет общий план будущих действий, последовательно расписывает логику каждого из этапов, тестирует различные гипотезы (если таковые были сформулированы на предыдущем этапе), обнаруживает собственные ошибки и исправляет их.

В основу БРМ положены три идеи, годами до того развивавшиеся ИИ-разработчиками: цепочка рассуждений (chain of thoughts), дополнительные вычисления прямо во время обработки запроса (test-time compute; имеется в виду, что эти вычисления производятся на этапе инференса — сверх тех, что сформировали веса на входах перцептронов модели на этапе её первичной тренировки) и обучение с подкреплением (reinforcement learning). Архитектурно БРМ — та же самая авторегрессионная БЯМ на основе трансформеров, и фактически она по-прежнему нанизывает один токен на другой, отталкиваясь от (переведённого в токены же) операторского запроса, только и всего. Но сам принцип формирования этих токенов уже значительно отличается от характерного для нерассуждающих моделей прежних поколений. Поскольку БРМ обучается с подкреплением (а не просто некритично пропускает через себя титанических размеров массивы тренировочных данных), в этом процессе получая положительное подкрепление за верные ответы на сложные вопросы, сами веса на входах её перцептронов фиксируют уже не какие-то статичные знания, , а ещё и новые паттерны самого её функционирования — по сути, навыки сомневаться, перепроверять себя и выстраивать логические цепочки.

⇡#Внутренний монолог

Если прежде торным путём совершенствования БЯМ считался экстенсивный — чем больше параметров у модели, тем она выйдет лучше, — то убедительная демонстрация превосходства БРМ при решении сложных задач подтвердила: объём производимых системой вычислений можно (и чаще всего нужно!) разменивать на время. Выяснилось, что пошаговый поиск ответа на заданный вопрос с последовательной выверкой промежуточных результатов и, при необходимости, с самокоррекцией позволяет, не раздувая модель до неприемлемых размеров (с точки зрения физических пределов возможностей аппаратной её реализации), получать весьма высококачественные ответы. Да, законы сохранения не обмануть даже в цифровом мире: хорошо организованные цепочки рассуждений за счёт своей длительности пожирают несметное количество токенов. Зато такая имитация мыслительной «системы 2» даёт шанс решать крайне нетривиальные задачи — без необходимости дожидаться появления очередного поколения ИИ-ускорителей и/или победы над дефицитом оперативной памяти в глобальном масштабе.

Каким же именно образом БРМ добиваются столь впечатляющих результатов? «Цепочки мыслей» реализуются благодаря генерации так называемых токенов рассуждений (thinking tokens или reasoning tokens), которые обычно оператору не видны, если только разработчик не предусмотрел возможности и их промежуточного вывода (в преобразованном в текст виде, конечно), —, но тарифицируются в точности так же, как и формирующие итоговый ответ токены. Поскольку на получение токенов рассуждений и последующие операции с ними расходуются ресурсы, время обработки запроса рассуждающей моделью на несколько десятичных порядков больше, чем для классической БЯМ: от пяти секунд до минуты и более против долей секунды. Для начала активизируется упомянутая уже цепочка рассуждений, что подразумевает разбиение запроса на подзадачи, параллельную оценку нескольких потенциальных подходов к получению ответа и моделирование пути к наиболее точному решению. И как только внутреннее рассуждение завершается получением удовлетворительного результата (по собственным критериям БРМ, разумеется, — это же её «мысли под капотом»), либо едва исчерпывается доступный оператору бюджет токенов (горе экономным!), модель на основе произведённых к этому времени рассуждений генерирует финальный — предъявляемый пользователю — ответ.

В пионерской работе 2022 г. Джейсон Вэй (Jason Wei) с коллегами из Google Research убедительно показали, что, всего лишь побуждая достаточно крупную модель «думать шаг за шагом» — то есть не приступать к генерации токенов ответа сразу же, а действовать последовательно, поэтапно, — удаётся резко повысить корректность её ответов на сложные вопросы. «Достаточно крупную» — важное замечание: подход chain of thoughts с самого начала оказался работоспособным для БЯМ с числом параметров около 100 млрд и более. При этом характеризующие модель веса оставались прежними, зато растягивался срок получения верного ответа. Но поскольку частота выдачи неверных вместе с тем существенно снижалась, это направление эволюции БЯМ многие исследователи стали рассматривать как перспективное.

Следующим прорывным шагом на пути к БРМ стало осознание того, какой именно выигрыш обеспечивает масштабирование вычислений в ходе инференса (test-time compute) и насколько это выгодно с точки зрения экономии аппаратных ресурсов. Чарли Снелл (Charlie Snell), в ту пору интерн в Google DeepMind, и пара его соавторов из той же организации в 2024 г. наглядно продемонстрировали, что выстраивать цепочки рассуждений при ответе на каждый запрос, расходуя тем самым дополнительные токены и время, всё же гораздо разумнее, чем тратить ресурсы на создание ещё более многопараметрической БЯМ, которая (в теории) смогла бы быстро решить ту же самую задачу «в лоб», за один проход. Стратегия «дольше думать» однозначно побеждает парадигму «привлекать модель крупнее» для авторегрессионных БЯМ на основе трансформеров — причём на отдельных задачах разница может достигать полутора десятичных порядков. Снелл с коллегами на практике показали, как не слишком внушительная (в смысле количества рабочих параметров) модель отвечает — если дать ей достаточно времени для test-time compute — на сложные вопросы не менее корректно, чем в 14 раз более крупная БЯМ.

Буквально в прошлом году эстафету у американских экспертов перехватили китайские: разработчики модели DeepSeek-R1 нашли способ интегрировать склонность к рассуждениям в саму же модель, чтобы избавиться от необходимости использовать дополнительную БЯМ (внешнюю модель в роли «критика») для верификации промежуточных результатов, получаемых на каждом из этапов решения сложной задачи. Здесь как раз нашло применение упомянутое чуть ранее обучение с подкреплением: именно благодаря ему, через вознаграждение корректных ответов на сложные, требующие многоступенчатого подхода вопросы, формировались токены рассуждений, интегрированные таким образом в саму структуру языковой модели, — БЯМ превратилась в БРМ. Не будет преувеличением сказать, что веса нейросети перестраиваются в итоге таким образом, чтобы чаще генерировать именно структурированные, логически непротиворечивые цепочки рассуждений. Модель в ходе тренировки с подкреплением выучивается находить сложные, многоэтапные, взаимосогласованные пути решения предлагаемых ей непростых задач. Уже изначальная версия DeepSeek-R1-Zero на тестах AIME 2024 добилась результата 71,0% при одной попытке на задачу и 86,7% — в случае консенсусного выбора наиболее корректного ответа. Кстати, в отличие от американских разработчиков, коллектив DeepSeek приложил отработанную на R1 стратегию ещё и к моделям с открытыми весами из семейств Qwen и Llama — сделав таким образом рассуждающие модели (пусть и не такие большие, как доступные только через веб-интерфейс) исполнимыми даже на локальных ПК.

⇡#Подумать только!

Здесь требуется сделать ряд пояснений и прежде всего уточнить, откуда всё-таки берутся токены рассуждений, позволяющие даже сравнительно небольшим моделям показывать выдающиеся результаты. Всё дело в обучении с подкреплением, да ещё и с элементами дарвиновской эволюции. Для начала берут базовую БЯМ, которой скармливают чрезвычайно сложные задачи — с прежних математических олимпиад, например, или с химических, или с философских; всё зависит от того, в каких именно областях разработчики хотят добиться наиболее полного освоения моделью логики, присущей той или иной отрасли знания. При этом снимают какие бы то ни было ограничения на количество токенов выдачи: модели, проще говоря, дозволяют быть сколь угодно многословной в своих излияниях. Пока ещё не рассуждениях, отметим: это всё ещё классическая однопроходная БЯМ, в которой цепочка токенов на входе напрямую (с учётом неизбежной для авторегрессионного метода толики стохастики) порождает цепочку преобразуемых в ответ токенов.

Дальше начинается собственно обучение с подкреплением (reinforcement learning, RL): выдача тренируемой модели оценивается, и награда (положительное подкрепление) выдаётся лишь в том случае, если ответ — верный. Как именно выставляют оценку? Для строго алгоритмизируемых дисциплин (математика, программирование, прикладная химия, выкладки которой можно проверить по справочникам реакций) всё просто: выдача ИИ поверятся результатами расчётов по формулам. Для верификации ответов на вопросы из требующих более отвлечённых рассуждений областей — физика, медицина, гуманитарные предметы — привлекают внешние арбитражные БЯМ (LLM-as-a-Judge). Как правило, арбитр представляет собой более крупную, архитектурно сложную и дорогую в эксплуатации модель, которая не просто сравнивает результат будущей БРМ с неким эталоном, но — пользуясь тем, что рассуждения испытуемой весьма пространны, — пристально проверяет их шаг за шагом на предмет логических несоответствий. За каждый корректно нащупанный и пройденный этап рассуждений подвергаемая тренировке модель получает поощрение, за каждую галлюцинацию или ошибку в рассуждениях — штраф. Так работают process-supervised reward models (PRM) — ИИ-системы детальной оценки «мыслительного» процесса тренируемой модели.

Модифицируя в ходе RL исходные веса БЯМ, разработчики добиваются внедрения в саму ткань нейросети новых логических паттернов: в частности, корректировке подвергаются веса тех слоёв трансформера, которые отвечают за семантические связи и планирование. Одновременно БЯМ в ходе превращения в БРМ привыкает связывать определённые абстрактные концепции с необходимостью выдать токены «сомнения» (например, фразы «Надо подумать…», «Проверим заново…»), а вслед за тем сгенерировать несколько вероятных путей к решению очередной ступени большой задачи. Если вернуться к терминологии, принятой для человеческого мышления, то вероятность выдачи прямого, «интуитивного» ответа как результата срабатывания «системы 1» для сложных задач в процессе RL снижается, тогда как частота запуска пошагового разбора, аналогичного нашей «системе 2», существенным образом возрастает. В результате такой перестройки весов гораздо чаще генерируются структурированные «внутренние монологи» — на которые, кстати, щедро расходуются те самые скрытые обычно от конечного пользователя токены рассуждений. Но взамен в нейросети формируются паттерны самопроверки: миллионы RL-итераций спустя модель усваивает, что, если на каком-то, пусть даже весьма далёком от старта, шаге она сделала неверный вывод (не прошедший ту самую самопроверку), следует сгенерировать особый токен-маркер («Стоп», «Откат», «Ошибка» и проч.), который запустит процесс возвращения к одному из более ранних этапов в поисках принципиально иного пути.

Так что внутренний монолог БРМ за счёт обильного применения thinking tokens чрезвычайно богат, от этапа планирования («Задача требует найти X. У меня есть три пути: А, Б и В. Начнем с пути Б, так как он кажется короче…») через собственно вычислительную стадию (пошаговый разбор формул, написание промежуточного кода, проверка граничных условий) и до критики, совмещённой с рефлексией («Так, стоп; если X равен нулю, то деление невозможно. Моя предыдущая гипотеза неверна. Следует вернуться к самому началу и проверить другой путь»). Причём если прежде, на заре рассуждающих моделей, цепочки мыслей с гордостью демонстрировали пользователю, то теперь чаще всего скрывают — во-первых, чтобы не отвлекать проносящимися по экрану стенами текста; во-вторых, чтобы конкуренты не использовали эти логи «мыслительного» процесса для обучения уже собственных БРМ по принципу дистилляции знаний, когда тренируемой модели скармливают одновременно и корректный результат, и приведшую к нему длинную последовательность шагов рассуждения.

Ну и на сладкое — БРМ не панацея не только по причине своей избыточной для целого ряда задач дороговизны. Они подвержены эффекту «катастрофического забывания» (catastrophic forgetting): перезапись весов в процессе RL не проходит бесследно, и, если превращать модель в рассуждающую слишком уж агрессивно, какие-то из её прежних навыков имеют все шансы бесследно исчезнуть. Перетренированная БРМ превратится в мономана (в психиатрическом смысле). Будет почти безупречно решать те же самые олимпиадные задачи по математике, но притом растеряет свойственные «системе 1» способности —скоренько написать милый поздравительный стишок, небанально ответить на вопрос «Как дела?», предложить меню праздничного ужина. Разработчикам приходится применять особого рода предохранители вроде дивергенции Кульбака — Лейблера (Kullback — Leibler divergence), подразумевающей крайней жёсткий штраф в случае слишком сильного отклонения изменённых в ходе RL весов от исходных их значений. Но, опять же, критерий «слишком» трудно поддаётся строгому определению, да и в целом современные БРМ рассматриваются как лишь частично отвечающие критериям мышления «системы 2»: они имитируют это мышление, но не реализуют его в полной мере.

Действительно, БРМ неплохо освоили науку «думать медленно», успешно воспроизводят человеческую манеру рассуждать, эффективно применяют пошаговую логику — от разбиения сложной задачи на этапы до самопроверки и исправления собственных ошибок. И всё же фундаментальные основы человеческого сознания — либо некие их цифровые аналоги — и у таких нейросетей отсутствуют. БРМ, как и лежащие в их основе БЯМ, не обладают самосознанием, волей и целеполаганием. Имитируемый ими мыслительный процесс — не более чем статистически оптимизированная генерация токенов, дообученная через RL. При этом на каждом отдельном этапе своего «рассуждения» БРМ по-прежнему действует как БЯМ — активируя пресловутую «систему 1» и порождая ответ на данный частный вопрос «в лоб», по старинке нанизывая один токен на другой. Да, из ледяных кристалликов «систем 1» во множестве случаев удаётся сложить имитацию «системы 2», но это именно что симуляция «медленного мышления», не затрагивающая самой природы базовой нейросети. Именно по этой причине, кстати, рост затрат БРМ по сравнению с БЯМ — чисто механический: прежде была одна цепочка токенов, теперь их несколько десятков или даже сотен, ветвящихся, переплетающихся, —, но внутренняя суть их неизменна. У биологического мозга не так: чтобы перестать действовать реактивно, автоматически, человеку приходится переключаться на «систему 2» волевым усилием, испытывая ментальное напряжение.

По этой причине в экспертном сообществе сегодня практически устоялось мнение: БРМ отменно хороши для решения заковыристых частных задач (взять всё ту же пресловутую Mythos, которую правительственные органы США повелели держать и не пущать, чтобы её подсказками по части наиболее зияющих уязвимостей компьютерных систем страны не воспользовались враги), но до AGI им откровенно далеко. Более того, нет чёткого убеждения, что именно БРМ (как прежде БЯМ) должны стать новой торной дорогой, двигаясь по которой ИИ-отрасль рано или поздно породит-таки вожделенный многими сильный искусственный интеллект. Причины такого скепсиса должны уже быть вполне очевидны: это отсутствие у актуальных нейросетей, даже дообученных с подкреплением, истинного понимания дао себя самих и мира вокруг. БРМ по-прежнему оперируют статистическими корреляциями между токенами, а не осознают сути поставленных перед ними проблем; не способны создавать новое знание и не готовы выйти за пределы логики, так или иначе заложенной человеком в обучающую выборку.

Ещё один важный недостаток БРМ — отсутствие способности к непрерывному обучению; статичность памяти: RL — это прекрасно, но по его завершении веса рассуждающей модели снова фиксируются. В отсутствие «костылей» вроде RAG модель не помнит прежних диалогов с операторами, не способна самостоятельно накапливать опыт. Ну и тот факт, что у БРМ нет собственных целей, желаний и воли, существенно снижает вероятность её эволюции в AGI даже через весьма отдалённое время. Биологический разум, если выражаться образно, сам есть порождение воли — воли живого к жизни: даже простейшие, не имеющие нервных клеток в принципе, стремятся покинуть неблагоприятное для себя окружение и тянутся к тому, что их поддерживает (будь то солнечный свет, если они фотосинтезирующие, или какая-то пища). ИИ же безропотно активируется в ответ на полученную подсказку — и с такой же готовностью прекращает работать. Небезызвестный Ян Лекун (Yann LeCun) недаром выбрал принципиально иной путь, чтобы двигаться к AGI, — его модели мира обещают поставить машинный разум примерно в те же условия, в которых эволюционировал в своё время биологический.

БРМ же в настоящее время привлекательны только на фоне приевшихся уже БЯМ, — дальнейшее развитие рассуждающих моделей чревато столкновением с целым рядом серьёзных проблем. Это и предел масштабирования вычислений (compute wall, а чаще даже memory wall), связанный с тем, что чем более тщательная имитация «системы 2» требуется, тем больше необходимо потратить ресурсов на test-time compute, — так что вскоре потребности генерации скрытых токенов с лихвой перекроют экономию на тренировке «однопроходных» моделей. И даже если Nvidia умудрится спроектировать ИИ-вычислитель на пару порядков мощнее нынешних, а TSMC поставит его производство на поток, останется ещё более серьёзная проблема — принципиальная ограниченность текстовой модальности. Человеческий разум — и на масштабах тысячелетий, и в пределах жизни одного индивида — формируется через взаимодействие с реальным миром: через физику тела, зрение, тактильное взаимодействие, социальный опыт. Текст — это лишь бледная тень человеческого знания, как бы ни горько это было осознавать запирающимся в библиотеках книгочеям. Можно быть истовым поклонником книг о парусном флоте, знать назубок наименование каждого элемента такелажа, корректно применять все термины —, но это не поможет, если отсутствует практика, споро взять рифы на грот-стеньги-стакселе в крутой бейдевинд. А значит, каким бы докой ни казался рассуждающий ИИ в диалоговом окне, на практике от него толку ноль, —, но разве можно называть «общим» интеллект, не имеющий касательства к практике?

Не все исследователи, впрочем, столь категоричны: кое-кто рассматривает БРМ как важный промежуточный шаг в направлении AGI как раз по той причине, что рассуждающие модели куда лучше классических БЯМ проявляют себя именно в реальном мире, когда им доверяют управление роботами, скажем. Здесь способность взвешивать различные варианты действий, пусть даже базирующаяся на старых добрых авторегрессионных последовательностях, оказывается очень кстати: «Чтобы открыть дверь, мне нужно сначала переложить коробку в левую руку, затем извлечь из этой коробки ключ…» Есть всё-таки шанс, что БРМ проявят себя как критически важный управляющий элемент для будущих интеллектуальных цифровых систем, в которых будут сведены воедино языковая логика, нейроморфные модели мира и роботизированные тела. Правда, в состав «моделей мира» упомянутого Лекуна входят аналогичные рассуждающим моделям элементы, построенные на радикально иных принципах, — итеративный цикл работы самой world model и актора (actor) в латентном пространстве, точно так же призванные имитировать работу «системы 2». Только здесь вместо перебора доступных вариантов на каждом шаге с возможностью отката используется предложение актором некоторого действия — вектора в латентном пространстве — с последующим предсказанием моделью мира его последствий. Так или иначе время классических однопроходных БЯМ, судя по всему, на исходе — по крайней мере, для решения по-настоящему серьёзных задач. Грядущие несколько лет покажут, надолго ли хватит запала развивающим БРМ исследователям — и какая новая архитектура придёт (если придёт) на смену рассуждающим авторегрессионным моделям.

©  3DNews