Thinking Machines Lab выпустила открытую Inkling-Small: модель оказалась сильнее старшей версии при втрое меньшей нагрузке

Компания Thinking Machines Lab представила открытую мультимодальную модель Inkling-Small с архитектурой Mixture-of-Experts (MoE). При общем размере 276 млрд параметров модель активирует лишь 12 млрд параметров на токен, сохраняя высокую производительность и полную публикацию весов для сообщества разработчиков.

Несмотря на статус «младшей» версии, Inkling-Small превзошла исходную Inkling с 41 млрд активных параметров сразу в нескольких ключевых тестах.

На Terminal-Bench 2.1 она набрала 64,7% против 63,8%, на Humanity’s Last Exam — 31,6% против 29,7%, а в WE-Bench Verified достигла 80,2% против 77,6%. Такой результат разработчики объясняют улучшенной схемой обучения: модель дообучили методом on-policy-дистилляции, используя старшую Inkling в качестве «учителя», а затем ещё две недели обучали с помощью reinforcement learning на задачах агентного программирования.

Источник: Thinking Machines Lab

Inkling-Small поддерживает текст, изображения и аудио, работает с контекстом до 1 млн токенов и позволяет регулировать глубину рассуждений, выбирая баланс между скоростью работы и качеством ответа. Полностью открытые веса уже опубликованы, сама модель доступна для дообучения и использования через платформу Tinker.

Источник: Thinking Machines Lab

Разработчики также переработали процесс предварительного обучения: обновили состав обучающих данных и улучшили мультимодальную архитектуру без использования отдельного энкодера. Изображения разбиваются на фрагменты размером 40×40 пикселей, аудио обрабатывается в виде dMel-спектрограмм, после чего все типы данных совместно анализируются вместе с текстовыми токенами.

При меньших вычислительных затратах модель практически не уступает старшей версии в задачах визуального анализа, понимания диаграмм и документов, работы со звуком и сложных мультимодальных сценариев.

В компании отмечают, что Inkling по-прежнему превосходит новую модель по полноте знаний и фактической точности, однако Inkling-Small демонстрирует более выгодное соотношение производительности и вычислительных затрат.

©  iXBT