9月28日,2024中國算力大會發布“算力中國·最佳學術論文”,其中多篇論文的研究成果為業內首創,涵蓋算力模型優化、綠色算力等領域,將為算力科技突破、應用賦能發揮積極作用。

基礎研究是科技創新的源頭。黨的二十屆三中全會提出,強化基礎研究領域、交叉前沿領域、重點領域前瞻性、引領性布局。算力作為新質生產力的代表,是推動新一輪科技革命和產業變革的加速器,夯實算力領域研究基礎,對產業自主創新和高質量發展具有重要意義。為進一步促進算力及相關產業基礎科研探索,鼓勵基礎理論、方法模式研究,2024中國算力大會面向全球算力及相關領域的專業人士發起“算力中國·最佳學術論文”征集活動。
據介紹,論文包括但不限于通用算力、高性能算力、智能計算、算力應用、算力基礎設施等領域。論文需具備一定的創新性、科學性、典型性和推廣價值,在算力及相關產業的基礎理論、應用研究中取得重要突破,在核心技術、創新應用等方面取得顯著成果。
征集活動自啟動以來,得到社會各界廣泛關注和大力支持。經過嚴格篩選與評審,10篇論文獲評“算力中國·最佳學術論文”,包括《面向新一代神威超級計算機的69.7PFLOPS量級超大規模地震模擬》《Centauri:通過通信切分實現大模型訓練中通信計算重疊的高效調度》《考慮云計算任務依賴關系的數據中心園區用能靈活性方法構建與評估》《基于重復博弈視角的跨孤島聯邦學習中的長期合作》《基于自適應引導融合的域泛化深度特征學習》《用于分布式訓練的傳輸層透明網內聚合》《自具微孔聚合物用于膜法精確分離》《NFV網絡中基于深度學習的虛擬網絡功能優化部署研究》《混合概率數及其神經網絡計算》《深度時序圖聚類》。其中,論文提出的“業界首個面向AI網絡的基于RoCE實現的在網計算創新方案”“首次分析并統一了二進制數、概率數和混合概率數等三種數系間的數理關系”“首次全面定義了深度時序圖聚類”等成果為業內首創。
評審專家表示,這一系列學術研究成果將助推算力基礎研究走深走實,助力我國算力及相關領域核心技術自立自強。
“算力中國·最佳學術論文”篇目如下:
論文一:
中文名稱:面向新一代神威超級計算機的69.7PFLOPS量級超大規模地震模擬
第一作者:萬吳兵
第一作者單位:清華大學
通訊作者:甘霖、王文強、殷澤坤
合作作者:張振國、田浩東、王一諾、花夢圓、劉小慧、項盛業、宋澤宇、何仲秋、王子加、高萍、陳垚鍵、段曉輝、劉鑫、張偉、付昊桓、薛巍、劉衛國、楊廣文、陳曉非
推薦理由:論文基于新一代國產超級計算機設計了一系列全新并行計算方法,形成了一套高精度、高性能地震模擬算法。基于論文成果實現了可高效擴展至3900萬核計算規模(擴展效率達98.2%)的超大規模地震模擬軟件,計算性能達69.7PFlops。論文進一步開展了復雜地形、真三維復雜介質、12米分辨率、22.6Hz的加州地震模擬。該工作對于使用超級計算機理解地震的產生原理、傳播機理和破壞程度等具有重要意義。
論文二:
中文名稱:Centauri:通過通信切分實現大模型訓練中通信計算重疊的高效調度
第一作者:陳暢
第一作者單位:上海人工智能實驗室
通訊作者:楊超、李秀紅
合作作者:朱錢超、段江飛、孫鵬、張行程
推薦理由:Centauri是針對大規模模型訓練過程中巨大的通信開銷,進行通信-計算覆蓋優化的框架。Centauri包含通信切分和重疊調度兩個部分。針對“通信是負載在設備群上的映射變換”這一核心抽象和模型訓練任務的層級特點,構造出全面并且可以系統化探索的切分空間和調度層級。針對多種不同分布式并行配置下,Centauri對于流行大模型可以提升45%的訓練性能。該論文獲得計算機體系結構國際頂級會議ASPLOS2024最佳論文獎項。
論文三:
中文名稱:考慮云計算任務依賴關系的數據中心園區用能靈活性方法構建與評估
第一作者:馬佳豪
第一作者單位:阿里云計算有限公司、香港大學
通訊作者:閆月君、王朝陽
合作作者:姚睿洋、張博超
推薦理由:AI技術和AI智算市場的快速發展下,云計算基礎設施數據中心的能耗問題備受關注。通過挖掘云計算任務和數據中心用能設備的靈活性,實現數據中心彈性用電,對于解決數據中心能源問題至關重要。該論文提出了考慮子任務依賴關系的數據中心園區靈活用能模型構建方法,通過挖掘AI智算數據中心用能靈活性,促進園區同電網協同用能,服務AI綠色技術創新和用戶對綠色服務的需求,支撐國家東數西算和雙碳行動,具有積極推廣意義和應用價值。
論文四:
中文名稱:基于重復博弈視角的跨孤島聯邦學習中的長期合作
第一作者:張寧
第一作者單位:中國電信股份有限公司研究院
通訊作者:馬倩
合作作者:陳旭
推薦理由:跨孤島聯邦學習中的搭便車者問題一直對聯邦學習訓練造成很大困擾,本文提供了一種具有理論保證的搭便車者的解決方案。本文從階段博弈和重復博弈角度分別進行了理論分析,揭示了搭便車者存在的原因,并提出分布式算法通過鼓勵搭便車者考慮長期收益轉而參與訓練來解決搭便車者問題,符合現實情況中用戶之間信息不互通的事實。模擬結果表明文章在最小化搭便車者數量和最大化模型訓練數據量的有良好表現。
論文五:
中文名稱:基于自適應引導融合的域泛化深度特征學習
第一作者:劉麗娜
第一作者單位:中國移動研究院業務研究所、浙江大學
通訊作者:劉勇、宋希彬
合作作者:宋希彬、王蒙蒙、戴玉超、劉勇、張良俊
推薦理由:該論文提出了一種合成到真實域泛化地單目深度估計算法,能夠有效地應用在智能交通、智慧城市和三維重建等領域,獲取準確的深度信息。該論文是發表于計算機視覺與模式識別領域國際頂級知名期刊IEEE T-PAMI的最新成果,具有較大的創新性和可推廣價值。可為算力相關的應用領域如數字孿生、世界模型、工業制造、交通物流和智慧城市等提供可靠和泛化性高的深度結果和三維信息,對未來提升三維視覺任務精度和效率提供了重要技術參考。
論文六:
中文名稱:用于分布式訓練的傳輸層透明網內聚合
第一作者:劉碩
第一作者單位:華為技術有限公司
通訊作者:吳文斐
合作作者:Qiaoling Wang、Junyi Zhang、Qinliang Lin、Yao Liu、Meng Xu、Marco Canini、Ray C. C. Cheung、Jianfei He
推薦理由:論文提出的業界首個面向AI網絡的基于RoCE實現的在網計算創新方案NetReduce,計劃對標英偉達商用產品SHArP(Scalable Hierachical Aggregation Protocol)可擴展層級化聚合協議。相較于英偉達基于閉源生態IB組網,NetReduce具有組網規模更大,成本更低的優勢。IB在網計算依賴特定的物理硬件,組網規模限于子網規模48K。而以太組網成本大約為IB的0.7~0.8,且擴展性方面無子網規模限制。IB在網計算中,交換機與服務器建立RDMA連接,交換機維護連接狀態,網絡復雜度高。NetReduce保持計算節點間端到端的可靠傳輸連接,避免在網絡中維護過多的狀態。NetReudce在提升AI網絡性能的同時,最大程度兼容現有以太網協議棧,未來可廣泛部署于基于以太網的AI智算中心。
論文七:
中文名稱:自具微孔聚合物用于膜法精確分離
第一作者:馮孝權
第一作者單位:鄭州大學
通訊作者:張亞濤、朱軍勇
合作作者:靳健、汪勇、Bart Vander Bruggen
推薦理由:論文以一種具有自具微孔特征的高分子材料(PIMs)為主題,主要對其合成、結構及其在膜分離應用領域的發展做了詳細闡述。隨著材料科學快速發展,文中提出機器學習+AI大模型是設計、篩選具有特定功能的目標材料的一種新范式。基于分子水平上的可控設計,從材料設計和功能導向的角度為高性能聚合物材料的設計、篩選、開發及分離應用提供參考和指導。
論文八:
中文名稱:NFV網絡中基于深度學習的虛擬網絡功能優化部署研究
第一作者:岳毅
第一作者單位:中國聯通研究院通訊作者:唐雄燕
合作作者:孫世丁、唐雄燕、曹暢、楊文聰
推薦理由:本論文緊密契合算力及相關產業的基礎理論與應用研究需求,創新性地將深度學習應用于網絡功能虛擬化中的虛擬網絡功能部署。通過構建智能節點選擇神經網絡,顯著提高服務功能鏈(SFC)請求的處理效率和網絡資源利用率,同時解決了傳統方法在復雜網絡環境下的擴展性與靈活性問題,大幅降低計算復雜度和時間消耗。研究成果已發表在國際知名的通信領域頂會IEEE WCNC會議上。為未來網絡架構的發展提供了理論和方法支持的同時,還為智能算力的發展提供積極啟發。
論文九:
中文名稱:混合概率數及其神經網絡計算
第一作者:李洪革
第一作者單位:北京航空航天大學
通訊作者:李洪革
合作作者:陳宇昊、宋印杰、朱新宇
推薦理由:該研究工作提出了一種全新的二進制數和隨機概率數表示的混合數系統-混合概率數(Hybrid Stochastic Numbe,HSN)。該研究首次分析并統一了二進制數、概率數和混合概率數等三種數系間的數理關系,構建了三種數系間的數學表征并分析其高容錯、抗輻照等特性,實現了由該數系構造的智能計算芯片,為進一步擴展未來顛覆性智能計算體系打下了堅實的數理基礎。近三年來,該研究成果先后先后被IEEE TVLSI24、TCAS、TVLSI22、ESL、電子學報和CCF-CHIP、ISVLSI24、ISCAS、DAC61等國際國內頂級權威期刊和大會的多位國際專家高度認可并全文發表。獲2021年度第四屆“華為杯”全國研究生創芯大賽特等獎。2022年榮獲全國集成電路大賽特等獎。該原創性理論和技術被國務院發展研究中心收錄到2023年《世界前沿技術發展報告》。
論文十:
中文名稱:深度時序圖聚類
第一作者:劉猛
第一作者單位:國防科技大學
通訊作者:劉新旺
合作作者:劉悅、梁科、涂文軒、王思為、周思航、劉新旺
推薦理由:該論文首次全面定義了深度時序圖聚類這一新興任務,著重強調了時序圖聚類因其基于交互序列的批次處理范式,能夠有效緩解在大規模數據集上帶來的內存溢出和算力瓶頸問題,是從智能計算視角解決算力問題的典型案例。論文還指出,時序圖聚類因其能夠捕獲關鍵動態信息的特性,有望成為現實世界動態復雜場景的有效解決方案。該論文發表于機器學習頂級會議ICLR 2024,受邀在AI TIME、VALSE、PRCV等平臺作宣傳或報告。