飛象網訊 2020年初中國聯通發布公告，基于華為Kunpeng大數據存算分離方案，中國聯通集團聯合華為技術有限公司共同完成了大數據計算存儲分離架構的規模化技術創新。中國聯通將上線超過100臺Kunpeng大數據存儲節點，計算存儲分離架構已經成為運營商大數據平臺創新的利器。該方案將為運營商大數據創新帶來巨大價值：

運營商大數據平臺降本增效需求凸顯

作為數字化轉型的先行者，運營商利用大數據平臺進行經營分析、網絡優化、流量清單、日志留存等業務。這些大數據平臺在運營商業務中發揮著至關重要的作用，但龐大的數據量也給用戶帶來了新的挑戰。為應對挑戰，運營商在大數據平臺的建設和擴容方面每年都保持著規模投入，隨之而來的降本與增效矛盾越發突出：

● 傳統大數據平臺計算存儲等比例擴容，無法精準投資

當前運營商大數據平臺基于傳統存算一體架構獨立建設。但不同業務對大數據平臺計算和存儲的資源要求差異較大，如網優類業務是計算密集型的業務，CPU利用率長期維持在90%以上，存儲水位線往往低于20%；而日志留存和流量清單則是存儲密集型的業務，以點查為主，CPU平均利用率不足30%，存儲水位線卻已經在70%以上，經常需要被動刪除數據釋放存儲空間。傳統的計算存儲等比例擴容，會造成計算或存儲資源的浪費。

● 傳統大數據平臺多副本機制，占用大量機房空間

傳統大數據平臺使用多副本方式進行數據保護，常見的存儲利用率僅為33%（2副本為50%）。運營商的日志留存業務，每千萬用戶就會產生約6PB的數據。隨著5G、IoT等業務興起，當前正以每年約40%的速度在快速增長。10PB的數據量，以多副本方式存儲，就需要數百臺服務器，占用大量的機房空間，同時帶來供電、制冷等一系列的維護成本增加。

● 傳統大數據平臺計算存儲緊耦合，資源調度不靈活

運營商大數據已經應用到各個業務系統，形成了很多獨立的大數據集群。基于大數據海量的數據存儲和計算需求，傳統做法是獨立建設大數據集群，避免和實時業務搶占計算資源。但大數據集群業務峰值和實時業務有明顯差異，比如經營分析系統，業務高峰期是在22:00-06:00，而計費等實時業務系統業務高峰期是在06:00-22:00。由于計算和存儲融合，傳統大數據平臺無法在不同業務系統間靈活調度計算資源，浪費寶貴的算力。同時，一旦出現緊急需求，傳統大數據系統的改造時間往往需要按周計，嚴重影響業務上線時間。

在運營商提速降費的大背景下，這些問題變得尤為突出，降本增效，讓每一分錢用在 “刀刃”上，日益成為運營商客戶的核心訴求。

華為Kunpeng大數據存算分離方案成為降本增效的良藥

面臨這些挑戰，三大運營商不約而同的選擇了大數據存算分離方案，并攜手華為，選擇華為OceanStor大數據存算分離方案作為解決之道：

● 彈性EC，存儲利用率大幅提升

華為大數據存儲使用彈性EC替代傳統HDFS的多副本，存儲利用率提升了1.75倍，同時保證性能、可靠性和多副本相當，并能夠大幅降低日志留存、流量清單這類存儲密集型業務的機房空間占用，節省大量的供電、制冷費用，成本節約效果顯著。

● 依托華為Kunpeng多核算力，大幅提升數據存儲性能

華為大數據存儲采用Kunpeng多核架構的處理器，基于多核架構做深度優化，如EC、壓縮等算法卸載到Kunpeng芯片上執行，保證業務性能穩定；基于多核架構，優化進程并發度，充分發揮多核的性能，也是華為大數據存儲采用EC性能、保持可靠性的核心所在。

● 計算、存儲資源池化，靈活按需調度

采用華為大數據存算分離方案，計算集群和存儲集群可以分別云化，實現資源的按需調度。既解決了不同大數據集群間計算、存儲資源利用率不均的問題，又使得大數據計算節點可以和用戶的其他計算節點能夠按業務峰谷靈活調配，一舉兩得。

● 全分布式架構，單NameSpace支持百億文件

傳統大數據平臺的主備NameNode架構，長期存在當單個NameSpace文件數超過1.5億后，性能大幅衰減的問題，甚至會導致NameNode崩潰。此時，客戶就需要拆分業務到多個NameSpace或手動刪除業務，限制了大數據集群的擴展。華為大數據存儲采用全分布式的NameNode架構，每個物理節點既是存儲節點，也是元數據管理節點，性能隨著節點數增加線性擴展，單個NameSpace可支持百億文件，幫助大數據平臺從容應對5G時代海量數據存儲需求。

● 原生HDFS，新老共存，保護投資

華為的存算分離方案可提供原生HDFS接口，用戶應用不需要任何修改就可以直接使用；還針對不同大數據組件的要求，該方案提供了多種擴容方案，實現本地HDFS新老共存，保護用戶投資的同時，降低了數據遷移的難度，消除用戶的后顧之憂。

5G和AI的時代已經到來，大數據在千行百業中正發揮著越來越重要的作用。基于已有的Kunpeng大數據存算分離創新成果，華為將在Kunpeng生態領域，與中國聯通持續深入合作，實現更多技術創新和關鍵應用成果落地，支撐客戶創造更多價值。