近日，中國聯通持續技術攻堅，依托元景大模型MaaS平臺成功搭建“大規模專家并行” 推理集群，實現DeepSeek MoE 大模型在多節點間的超高效集群推理，單卡吞吐提升 3 倍，解碼時延降低 50%。這一成果不僅為人工智能技術的創新發展提供了強大助力，也讓各行業以更高效率應用 AI 技術，加速推動千行百業的數字化轉型。

伴隨大模型MoE結構重大技術革新，以往少量“全能型”專家的模式逐漸被取代，大量“專科型”小專家逐漸成為主流。這一轉變，極大地提升了模型的針對性和精細化程度，使得模型效果顯著改善。

推理應用在各行業的落地隨之全面加速，市場對于推理服務的需求呈井噴式增長，Tokens 處理量的需求與日俱增，這對推理系統的性能提出了更高的要求。為應對這一挑戰，大規模專家并行推理技術應運而生，為大模型推理的加速規模應用提供了強大的技術支撐。

聯通元景大模型與昇騰深度合作，圍繞大規模專家并行推理技術展開全方位創新，將 DeepSeek 671B滿血版大模型的數百個“專科型” 小專家按最優方式分布到不同的NPU上，使得單卡權重占用顯存降低 75%，權重加載耗時大幅減少，可用于數據計算的顯存顯著增加。

在通信環節，雙方對集群跨機通信方案進行深度優化，通過引入先進計算與通信并行算法，整體通信效率提升40%。此外，雙方聯合創新多級負載均衡算法，精準識別并均衡各NPU 的負載，將卡間負載差異成功控制在 10% 以下，有效提升系統吞吐和計算資源利用率。

聯通元景大模型MaaS平臺結合大規模專家并行推理集群系統，基于DeepSeek 671B 滿血版大模型持續進行針對性推理優化創新，打造高可靠、高性能、易運維推理服務。

圍繞高可靠

依托實例內和實例間的多級容災機制，保障業務連續性，提供長穩推理服務。圍繞高性能，進行高并發請求調度、管理、轉發等，打造整個集群的高效數據請求管理入口。

圍繞易運維

進行集群內推理業務狀態監控、以及PD身份和資源管理與決策等，打造整個推理集群的狀態監控器和決策大腦，持續提升大規模專家并行推理集群易用性。

在數字經濟蓬勃發展的浪潮中，中國聯通始終勇立潮頭，全面發力人工智能。從精心搭建智算基礎設施，構建強大算力“引擎”，到成功落地大規模專家并行推理集群，打造高性能低時延推理“中樞”，聯通元景大模型持續筑牢國產化智算底座，以技術需求雙輪驅動，打造“普惠速成”的元景MaaS平臺，讓人工智能更簡單，為 AI 產業發展注入強勁的“加速度”。

這一推理創新舉措必將助力各行業在復雜多變、競爭激烈的市場環境中搶占先機，以智能化驅動數字化轉型，進而推動實體經濟高質量發展。