飛象原創(魏德齡/文)擁抱AI,將現有業務與新技術相融合,是如今正在被眾多企業所關注的話題。但如個人用戶在部署本地AI時,可能會考慮內存與算力如何與相關大語言模型所匹配的問題類似,企業在自身能力基礎上需要做出更多考量,如何控制能源的消耗,獲得最優的投入產出,才能免除部署疑慮,在軟硬件的更新換代中實現AI融合。
近日,英特爾擴展了至強6產品組合,帶來面向通用服務器負載的至強6700/6500P系列(Granite Rapids-SP)和面向網絡和邊緣應用的至強6 SoC(Granite Rapids-D)。兩款產品均針對AI需求提供了專門的技術支持。其中至強6700/6500P系列中首次支持的MRDIMM技術,讓CPU實現了對AI更好的支持。
首款支持MRDIMM的平臺
至強6700/6500P系列的目標是更好地服務傳統企業各種不同的廣泛應用,包括最新的AI應用、傳統的數據庫或者是邊緣、存儲或不同的傳統計算。
在AI工作負載需求日益增強的情況下,更快的內存帶寬可以讓CPU更好地支持AI。原因在于部分工作負載,如推薦系統中的某些任務,仍然依賴CPU處理且對內存帶寬極為敏感。
英特爾在多年以前便開始與眾多廠商進行MRDIMM技術的推進。在此次發布的至強6產品中,相比內存速度在4800-5600MT/s的第五代至強,至強6的速度已經提升到了DDR5 6400MT/s。MRDIMM更可以把這個速率大幅提升到8800MT/s。相比于現已在市面上部署的數據中心服務器,提升達到50%以上。
MRDIMM可以在第一時間大幅度提升內存帶寬,能夠為中小模型推理任務提供更好的性價比。MRDIMM與至強6的結合,以及與其他加速卡的搭配,將顯著提升端到端業務的性能。
例如對于小規模的大語言模型而言,其推理過程不僅在生成首個Token時需要進行密集的計算,更重要的是,在后續的大多數Token推理中,對內存帶寬的需求非常高。因此,至強6處理器與MRDIMM技術的結合可以帶來更佳表現。
“我們的最新超級計算機將配備英特爾至強6處理器,采用P核,這是最新的處理器技術,并結合高帶寬MRDIMM內存。它將為用戶提供顯著加速解決特定受內存限制任務的能力,這對于科學研究至關重要。”IT4Innovations超級計算服務總監Jansik表示。
同時,至強6平臺上還完整地支持了業界標準CXL 2.0。其中一個突出的應用場景就是如何通過CXL2.0擴展內存,來以更高的性價比去拓展服務器的內存空間,進而滿足包括AI在內對于內存總量敏感的應用場景需求。
打消部署后顧之憂
英特爾至強6700/6500性能核處理器能夠提供出色的性能與能效平衡。與上一代產品相比,至強6處理器在廣泛的企業工作負載中實現了平均1.4倍的性能提升。作為AI系統的機頭節點CPU,至強6可與GPU搭配,為客戶提供優選組合。
此外,它以更少的核心數量,提供高達1.5倍的AI推理性能提升。能夠在如大數據、科學計算、AI、網絡等應用中,以在同樣能耗的情況下,帶來更加顯著的性能提升。以5年使用周期計,平均可以實現以一臺新的服務器替代五臺舊服務器5,在某些用例中該比例可達10:1,從而節省高達68%的TCO。
得益于至強內置的AMX加速引擎,在同等核心數下,至強在矢量數據庫離線構建索引表的過程中,性能甚至可以高過友商30%。另在圖片分類這樣的傳統AI領域最高可達50%以上的性能提升。
英特爾還關注到了由AI部署所產生的AI隱憂,針對進入到AI時代后異構系統的普及,業界希望英特爾可以和其他加速卡生產商一起聯合構建一個不僅包含CPU,同時也包含GPU的硬件防護的體系。至強6中的TDX Connect技術構建了一個CPU與GPU整體的防護網,無論是放在CPU上的數據抑或是業務入口,又或者運行在GPU上的模型參數或是模型數據,都能得到硬件防護。這也意味著,即便是一臺云主機,云服務提供商也無法獲取用戶的任何數據。
“Intel TDX Connect代表了提升機密計算的一大里程碑,增強了性能和可擴展性。它使現有和全新的工作負載能夠受益于機密計算的隱私保障,而不會在成本或性能上妥協。”微軟Azure產品主管Vikas Bhatia表示。
顯然,在云端至強6700/6500P系列解除了企業在面對各類任務流時的掣肘,在與AI業務相關的任務中,無論是如圖像識別、語言處理、推薦系統等這類經典AI模型,還是中小參數量的大語言模型,都能在保證安全的情況下,以更小的能耗,帶來更優的性能表現。
借助融合降低TCO的全新SoC
在邊緣側,以電信運營商為代表的廠商同樣正在思考AI融合的問題,將傳統的網絡在連接功能基礎上引入智能與算力。以AI應用為例,邊緣服務器可應用于智能工廠,助力礦山開采作業,亦能用于智能攝像頭相關場景。此類設備會集成多種網絡功能,如SD-WAN,同時整合安全功能。更為重要的是,它可以將各類AI應用集成于一體,例如智能監控與安全監控應用。
本次同期推出的至強6處理器便是一款專為網絡和邊緣應用設計了一款全新SoC。該產品是專門面向運營商,針對網絡和邊緣應用而設計的。對多樣化的功能特性進行了高度集成,整合了英特爾至強6性能核處理器的特性,將核心提升至72個,并整合多種加速器,例如面向vRAN的vRAN boost技術、面向媒體的英特爾媒體轉碼加速器,以及面向AI加速的英特爾高級矩陣擴展。
作為一顆系統芯片,至強6處理器實現了功耗與性能的平衡。例如在與諾基亞的合作中,提升了70%的性能功耗比,幫助運營商提升了整體密度,帶來高達2.4倍的無線接入網工作負載容量提升;另外在AI領域,該產品內置新的英特爾高級矩陣擴展英特爾AMX,讓單核AI RAN性能較上一代提升3.2倍;在網絡安全領域,該產品實現了Webroot CSI上傳模型的推理速度大幅提升,相比于英特爾至強D-2899NT處理器,提升最高可達4.3倍。
至強6處理器還是首款內置媒體轉碼加速器的服務器SoC。得益于此在編解碼任務時可實現較大性能功耗比的提升。相較于英特爾至強6538N處理器,每瓦性能提升達到了14倍。在Synamedia已經采用了至強6系統級芯片,實現了編解碼的每瓦性能提升。另外還能幫助傳統VDI領域,提升媒體的處理效率,減少總體擁有成本。
“業界常常討論智算網融合,原因是希望可以有一個基礎建設能用到不同場景中,讓你的‘投資’不會被鎖到某一個領域當中。所以為了經濟性,我們的看法是選一個可以支持各種應用的平臺,不管是網絡、AI、網絡邊緣還是控制的應用。”英特爾中國網絡與邊緣事業部總經理阮伯超表示。
英特爾同樣以這一原則來設計產品,無論是選擇AI應用、網絡部署還是邊緣控制,英特爾的產品均基于同一開發平臺實現。通過軟件層面的差異化配置,可以滿足不同應用場景需求,無需分別為網絡、AI搭建獨立平臺。借助這一融合平臺,能夠最大程度降低總體擁有成本。
目前至強6能效核處理器,已經用在很多的5G網絡中,通過與業界伙伴的合作,其性能得到了充分發揮。經5G核心網解決方案合作伙伴獨立驗證,該處理器實現了3.2倍的性能提升、3.8倍的每瓦性能提升。此外,配合在MWC24上推出的英特爾基礎設施電源管理器軟件,運行時功耗更可降低60%。
至強6新品正在以最優TCO釋放AI潛能,讓企業能夠從云到邊無憂部署,不僅助力高效應對AI計算挑戰,還在云端、邊緣等多場景下提供更優的能效表現,讓AI融合之路更輕松、更經濟、更具未來價值。