12月27日,阿里云正式發布云原生開源大數據平臺EMR 2.0,升級后的開源大數據平臺在成本持平的情況下,擴縮容性能最高可提升6倍。
據悉,阿里云EMR2.0為用戶提供了全新的平臺、開發、資源形態、分析場景等更優的產品體驗,通過EMR Doctor健康檢查、全面的服務巡檢和事件通知、節點故障補償等運維能力的升級,預估運維成本可降低20%-30%。新平臺致力于為客戶快速構建高性價比、安全可靠、兼容生態的開源大數據平臺。

EMR2.0與EMR1.0彈性擴容速度對比
云原生趨勢下,開源大數據處于重構之中,以 Hadoop 為核心的開源大數據體系,開始轉變為多元化技術并行發展。阿里云EMR產品負責人何源介紹, 阿里云EMR于2009年開始服務阿里巴巴集團內部客戶,2016年將過往的技術能力產品化開放,為客戶提供商業化服務。作為開源大數據領域的引領產品,EMR 2.0通過云原生能力重構平臺層、數據層、計算層,滿足數千客戶流處理、數據可視化、交互式分析、數據湖等多場景需求,重新定義了新一代開源大數據平臺。為客戶構建新一代開源大數據基礎設施。

EMR 2.0產品架構圖
客戶基于EMR2.0平臺可實現更加低成本、高效率、智能化的大數據集群管控和應用開發。通過使用搶占式實例,生產實證最多可降低百分之八十以上的成本。開啟故障實例自動補償,在全場景集群下,穩定性可以提高1個9。全新發布的EMR Doctor,通過健康檢查服務的集群日報功能,查看集群是否存在資源浪費;通過任務評分倒排Top N,找到資源浪費最多的作業進行優化;通過持續優化,幫助客戶最大化利用資源,避免浪費。同時,還可以幫助客戶提前發現一些風險并進行處理。EMR Studio,提供Notebook和Workflow服務。全托管Notebook,兼容 用戶Jupyter使用習慣,可以無縫對接EMR各計算、存儲引擎,進行交互式的大數據開發和調試,已經開發和調試完的作業可以加入Workflow工作流里進行調度和上線。此外EMR Studio的Workflow服務也還支持Flink等的作業。
2022年6月,阿里云EMR聯合 OSS、 DLF、DataWorks等構建的云原生數據湖產品方案通過信通院評測認證,是國內首批且唯一滿分的產品方案,該方案為用戶提供“全托管湖存儲、全面湖加速、統一湖管理、多模態湖計算和智能湖治理”等全面數據湖能力。(國內首批!阿里云云原生數據湖產品通過信通院評測認證)
國內知名廣告營銷服務商匯量科技已使用EMR產品4年。在業務快速增長的大好形勢下,匯量科技面臨越來越多的困擾:如數據來源復雜、數據量大、數據維度多、實時運營業務秒級數據新鮮度需求等業務需求;本次升級后,匯量科技在素材平臺、熱力引擎等業務的大數據平臺搭建上,數據同步和及查詢效率有數倍提升,系統穩定性顯著提升,未再出現之前cpu、mem、io負載高等情況。
隨著阿里云EMR2.0的發布,阿里云EMR將技術引領優勢,轉化為云上產品服務能力。重新定義的新一代 EMR 產品,將為各行業廣大客戶構建開源大數據平臺提供最扎實的基座保障。