ИИ-кластер Huawei CloudMatrix 384 обошёл решения Nvidia в тестах с DeepSeek R1

Новый ИИ-кластер Huawei CloudMatrix 384, построенный на базе китайских процессоров Ascend 910C, показал результаты, которые ранее считались недостижимыми без использования передовых чипов Nvidia. Как утверждает Huawei и китайский стартап SiliconFlow в техническом документе, система Huawei смогла обогнать как модифицированную для экспорта в Китай версию ускорителя Nvidia H800, так и топовую модель H100 при работе с моделью DeepSeek R1 LLM.

CloudMatrix объединяет 384 двухчиповых процессора HiSilicon Ascend 910C, размещённых в 16 серверных стойках, а также 192 центральных процессора, соединённых между собой с помощью оптоволоконных каналов связи, обеспечивающих высокую скорость передачи данных внутри и между серверами. По замыслу создателей, эта архитектура должна была стать основой для нового поколения ИИ-инфраструктуры, способной конкурировать с западными технологиями без использования передовых полупроводников. Система, по сути, стала примером того, как с помощью увеличения мощности за счёт масшатабов оборудования можно компенсировать отсутствие доступа к передовым технологиям.

Главной целью проведения эксперимента являлось укрепление доверия внутри отечественной технологической среды к собственным разработкам. Эксперимент доказал, что китайские NPU могут быть не хуже, чем графические процессоры Nvidia. Теоретически CloudMatrix 384 действительно обладает большим потенциалом: его вычислительная мощность достигает 300 PFLOPs в формате BF16 против 180 PFLOPs у системы GB200 NVL72 от Nvidia. Также в документе указывается, что программное обеспечение Huawei CloudMatrix-Infer, позволяет генерировать 4,45 токена в секунду на каждый TFLOP при предварительной обработке запросов и 1,29 токена в секунду на TFLOP при формировании ответа, что, по данным исследования, превосходит эффективность фреймворка SGLang от Nvidia.

Вместе с тем специалисты подчёркивают, что преимущество CloudMatrix 384 имеет свою обратную сторону, заключающуюся в ограниченной энергоэффективности. Кластер потребляет 559 киловатт электроэнергии, что в четыре раза превышает показатель вычислительной системы GB200 NVL72, составляющий 145 кВт. Таким образом, за дополнительную мощность приходится платить значительно более высоким энергопотреблением. Энергоэффективность китайской системы примерно в 2,3 раза ниже, чем у аналога от Nvidia

Однако для китайских клиентов, которым закрыт доступ к системам на базе Nvidia, этот фактор играет не самую большую роль. Кроме того, в материковом Китае электричество остаётся относительно дешёвым. Как отмечает Tom’s Hardware, за последние три года цены на энергию упали почти на 40%, что делает использование ресурсоёмких решений экономически оправданным.

©  3DNews