3月28日,北京大學鯤鵬昇騰科教創新卓越中心特訓營在北京大學新燕園校區計算機大樓成功舉辦,本次特訓營旨在深入探討昇騰技術棧在大模型應用中的前沿技術,特別是基于北京大學自研SCOW平臺和華為昇騰的DeepSeek本地化部署與推理優化,并通過實踐操作和技術專家面對面交流,進一步激發學生們的創新思維與學術視野。

深入解析:DeepSeek推理技術與昇騰平臺的融合
活動伊始,昇騰生態技術專家許濤就“DeepSeek-MoE模型技術演變分析”,深入解讀了DeepSeek系列模型技術演變。DeepSeek-MoE模型自推出以來不斷優化,通過增加模型大小和專家數量,降低專家激活比,來提升性能,在架構和訓練策略上持續創新。在技術實現方面,模型采用了多種優化方法,如在訓練過程中,利用DualPipe雙向流水線方法減少通信開銷,根據不同的算子需求選擇合適精度計算,引入MTP方法,以多個Token作為監督優化模型。同時,昇騰已經完成對Deepseek的適配,可以高效利用超節點內的高速通信帶寬,有望在DeepSeek時代取得更好的發展。

(昇騰生態技術專家 許濤)
實踐分享:基于昇騰的DeepSeek全棧開源推理方案
北京大學聯合華為發布的DeepSeek全棧開源推理方案依托全棧開源組件構建,基于北京大學自主研發的SCOW算力平臺系統,整合了DeepSeek、openEuler、MindSpore與vLLM/RAY等社區開源組件,通過開放協作打破技術壁壘,持續推動技術創新。北京大學計算中心工程師龍汀汀在特訓營中詳細介紹了該方案,現場演示了系統如何快速適應不同的AI框架,并展示其在多種應用場景下的高效性能。

(北京大學計算中心工程師 龍汀汀)
上手實操:邊緣設備上的昇騰技術實踐
在本次特訓營的開發實戰環節,學生們基于昇思MindSpore框架,在香橙派AI Pro開發板(20TOPS)上進行模型部署。值得一提的是,目前香橙派昇騰系列產品已經率先完成了與 DeepSeek 模型的深度適配,利用開箱即用模型,讓邊緣離線部署變得輕松高效。通過實操,學生們親身感受到了昇騰無需依賴云端的強大算力,直接在邊緣設備上實現高性能計算及積木式開發,既保障了數據處理的隱私安全,又大幅提升了響應效率。這種“端側智能”的實戰體驗,不僅讓學習更直觀,更讓大家領略到AI落地應用的無限可能。

(北京大學學生現場實操香橙派AI Pro開發板)
開放討論:技術專家與學者面對面答疑
在活動的最后,學生們與華為計算戰略規劃專家、北京大學計算中心工程師、AI安全解決方案專家、昇騰生態技術專家們一起進行了面對面的互動,從鯤鵬昇騰設備使用到技術難題再到未來發展趨勢,涵蓋諸多領域。在算子開發與適配方面,學生們提出的問題得到了專家們細致且富有前瞻性的解答。關于自定義算子綁定復雜、編譯耗時的問題,專家們表示除了相關QA文檔資源會隨商業版本盡快發布外,也可直接咨詢華為研發專家加速問題解決。同時歡迎高校師生將自身解決問題的過程發布為案例教程,這些無疑為學生們后續的開發工作提供了有力支持。對于開源編譯器支持的疑問,專家們詳細介紹了相關接口的開源情況以及正在推進的研發工作,讓學生們了解到未來算子開發將更加簡化,這極大地激發了學生們探索新技術的熱情。
硬件性能與生態建設也是互動的焦點。學生們關心的端側異構模型部署問題,專家深入淺出地講解了華為在這方面的布局和技術優勢。他們提到,華為在端側NPU和GPU的協同工作上有著長遠的規劃,并且在泛邊緣或泛端場景下,軟件體系的通用性為開發者提供了更為廣闊的發展空間,這讓學生們認識到華為計算生態的潛力,也為他們未來的研究方向提供了新的思路。

(開放交流環節 專家學者與學生們互動)
本次特訓營的圓滿舉辦是北京大學鯤鵬昇騰科教創新卓越中心在AI技術創新和人才培養方面的一次成功實踐。北京大學鯤鵬昇騰科教創新卓越中心自成立以來,致力于構建基于鯤鵬昇騰技術路線的校級生態合作平臺,圍繞大學計算產業前沿課題研究、課程體系建設、研究人才培養等方面展開合作,為產業輸出高質量鯤鵬昇騰創新人才,孵化和培育根植中國的世界級科研創新成果。未來,鯤鵬昇騰科教創新卓越中心將繼續開展一系列針對高校師生的培訓活動,幫助他們在科研創新與技術應用中取得更好的成果,推動人工智能技術的進步與產業的發展。