隨著移動互聯網技術的高速發(fā)展,數據呈爆炸式增長,其重要性已被企業(yè)提升到前所未有的高度,成為了企業(yè)發(fā)展的戰(zhàn)略資產。海量數據的產生,給企業(yè)帶來巨大潛在價值的同時,也讓企業(yè)在數據存儲和處理能力方面面臨著更大的挑戰(zhàn)。
在移動互聯網出現之前,運營商數據主要是人機會話方式產生的,以結構化數據為主;隨著互聯網尤其是移動互聯網的發(fā)展,產生了大量的非結構化、半結構化數據。傳統(tǒng)數據庫應對這類應用需求,無論從技術上還是功能上都存在明顯的不足,而Hadoop等技術的誕生為非結構化的海量數據處理提供了新的研究思路和解決方案。
在技術上,中興軟創(chuàng)經過綜合比較傳統(tǒng)數據倉庫技術和Hadoop等新技術,結合植根多年的運營商服務經驗,提出了構建新一代運營商數據中心的解決方案。中興軟創(chuàng)選擇傳統(tǒng)數據倉庫(如Oracle)與Hadoop混搭的方式,借鑒關系型數據倉庫在傳統(tǒng)應用支撐方面以及在復雜查詢和分析方面的快速響應能力,同時也借鑒了Hadoop的非結構化數據處理能力,實現數據的高效運算、低耗能存儲,滿足運營商的日常戰(zhàn)略需求。

圖1 企業(yè)數據中心技術架構圖
在功能上,新一代運營商數據中心包括三大能力中心:數據生產中心、數據服務中心、數據管理中心。

圖2 企業(yè)數據中心功能架構圖
數據生產中心作為數據中心的核心,主要負責企業(yè)數據的采集和處理,保障數據的及時性、高質性和穩(wěn)定性。基于大數據技術為數據生產、測試和挖掘構建基礎的計算、存儲、作業(yè)提交、任務調度、數據查詢和認證授權等能力;同時通過引入Spark、Spark Streaming、impala等系統(tǒng),進一步提升平臺實時性能和效率。
在接口數據采集方面,采用實時增量方式采集,提升數據入庫效率,減小生產系統(tǒng)數據抽取壓力;整合層通過實時與增量整合模式提升實時性和及時性;中間層以基線+增量的方式進行基礎寬表計算,進一步優(yōu)化基礎寬表計算的效率;匯總層通過標簽、指標模塊化,實現靈活、高效的標簽、指標庫。
數據服務中心負責把企業(yè)數據中心的能力進行封裝,通過API、查詢、推送、資源等方式對外提供服務,探索數據變現之道。通過系統(tǒng)目錄和門戶網站,實現企業(yè)數據能力的可視、可查;通過標準化的訂閱、審批和服務提供流程,實現數據、資源、消息共享;通過定制化的加密脫敏、精細化的權限控制、詳細的使用日志的記錄和審計,最終實現安全的數據共享。
數據管理中心是以數據資產為核心打造的數據質量、數據安全、數據管理和生產過程管理; 同時,以全程調度為中心銜接管理和生產,提升系統(tǒng)端到端的協(xié)同式數據生產效率和安全質量。
2016年,中興軟創(chuàng)和中國電信湖南省分公司開展合作,率先協(xié)助湖南電信完成新一代的企業(yè)數據中心(EDC)項目的上線。全新打造的企業(yè)數據中心成為湖南電信大數據和各項業(yè)務的連接器,以全面、及時、高質、敏捷、安全的能力,支撐企業(yè)內外部的數據需求,為踐行湖南電信乃至中國電信集團的發(fā)展戰(zhàn)略奠定堅實基礎!