2023年11月17日,由StarRocks社區(qū)發(fā)起、鏡舟科技主辦的StarRocks 年度大型技術交流峰會StarRocks Summit 2023在上海成功舉行。
本次峰會以“極速進化,融合"新"生”為主題,40余場分享演講在全天密集開展,來自平安銀行、華潤、騰訊游戲、阿里云、伊利、美的、京東等頭部企業(yè)的大數據專家圍繞數據進化、需求進化、技術進化,細致講解大數據分析的最新技術和最佳實踐,為大數據分析行業(yè)呈現(xiàn)了一場精彩的技術盛宴。
峰會吸引了數百名企業(yè)用戶代表和開發(fā)者到場聆聽交流,另有數萬名數據分析愛好者、從業(yè)者線上參會,通過多種渠道觀看了峰會直播。
新面孔:StarRocks大用戶陣容不斷壯大
這是StarRocks第三次舉行年度技術交流峰會,峰會延續(xù)了以前的高規(guī)格,亮相的企業(yè)用戶代表堪稱全明星陣容,全都是所在行業(yè)頭部,并且具有廣泛的社會知名度和影響力。
其中,既有騰訊、阿里、京東等在去年峰會上分享過經驗的互聯(lián)網“老面孔”,也有不少來自金融、制造、零售等行業(yè)的新面孔,比如伊利、平安銀行、芒果TV等企業(yè)就是首次派代表到場演講。
作為一款技術領先的開源OLAP數據庫產品,StarRocks一直備受大用戶青睞,隨著StarRocks加速向各行各業(yè)滲透,大用戶陣容也在不斷擴大,截至目前,已有超過300家市值10億美金的企業(yè)使用StarRocks。
在大用戶的示范和帶動下,中小企業(yè)用戶規(guī)模同樣在迅速壯大,StarRocks社區(qū)用戶已突破1萬,并依然保持著高速增長態(tài)勢。
另外,根據峰會演講嘉賓透露的使用情況,用戶對StarRocks的部署規(guī)模也在快速增長。
其中,騰訊游戲公共數據平臺部總監(jiān)崔玉明介紹,騰訊游戲已上線近100個StarRocks集群,共有1470個BE節(jié)點,1300個CN節(jié)點,湖數據量達4.99P。
從應用場景來看,嘉賓們分享的場景包括金融營銷、用戶畫像、自助分析、報表體驗升級等,基本涵蓋了當前實時數倉技術的所有經典應用場景。
鏡舟科技CEO孫文現(xiàn)表示,StarRocks開源社區(qū)為制勝場景的誕生提供了肥沃的土壤,各行各業(yè)、各種需求在社區(qū)中碰撞、交融,產生出StarRocks的制勝場景。
據孫文現(xiàn)介紹,鏡舟科技基于StarRocks打造的企業(yè)級產品全年經歷了近百次POC,成功率達到90%以上。
StarRocks產品能力有多硬核,由此可見一斑,這也可解釋為什么會有越來越多的用戶選擇StarRocks。
新范式:StarRocks引領湖倉一體趨勢
本次峰會共設置了一個主論壇、四個分論壇,除了企業(yè)用戶代表基于實踐的經驗分享,開發(fā)者代表進行的功能詮釋同樣精彩。
過去一年,StarRocks先后發(fā)布了2.5、3.0、3.1三個重磅版本,其中3.0版本推出的存算分離架構為開源業(yè)界首創(chuàng),曾在行業(yè)內引起巨大反響。
StarRocks TSC Member、鏡舟科技CTO張友東介紹,升級到存算分離架構后,用戶的存儲成本能下降80%,而計算節(jié)點則因為無狀態(tài),可以通過快速彈性、跨可用區(qū)部署等方式來提高計算的可用性,并且計算資源能夠進行物理隔離,按需獨立彈性伸縮。
到3.1版本,開啟Local cache的情況下,存算分離架構下的性能表現(xiàn)已接近本地存儲的水平。
與此同時,現(xiàn)在StarRocks的湖倉分析能力已非常完備,不僅支持internal、Data lake、JDBC、ES等catalog,還支持跨數據源的聯(lián)幫分析。
另外,主鍵模型的能力在過去一年也得到持續(xù)提升,已經同時支持全內存和持久化的索引,并支持了partial update、conditional update的能力,在性能方面,針對批量更新的場景,引入了按列更新的模式,性能相比按行更新提升10倍以上。
張友東表示,未來數據演進的趨勢是湖倉一體,用戶無需關注是建湖還是建倉,不管是構建數據湖還是構建數據倉庫,企業(yè)最終的目標是低成本、高效的解決數據分析問題。StarRocks在具備存算分離、湖倉分析、物化視圖等一系列重量級特性后,實現(xiàn)了往Lakehouse引擎的升級,借助StarRocks可兼具數據湖和數據庫倉庫的優(yōu)勢。
目前已有數十家企業(yè)在基于StarRocks實踐湖倉新范式,并取得非常好的業(yè)務效果。
其中,芒果TV采用StarRocks存算分離作為統(tǒng)一的Lakehouse,所有數據導入到StarRocks進行統(tǒng)一管理;微信近實時的數據寫入到lceberg,通過 Iceberg直接分析;攜程數據統(tǒng)一存儲在Hive,采用StarRocks直接查詢加速報等等。
新未來:StarRocks的進化故事還在繼續(xù)
據張友東介紹,未來StarRocks還會朝著云原生方向繼續(xù)邁進,推動實時分析鏈路進一步精簡,通過ETL on lakehouse,all in one的作業(yè)模式,幫助企業(yè)低成本、高效率地發(fā)掘數據價值。
值得一提的是,StarRocks社區(qū)是由鏡舟科技與阿里云、騰訊、小紅書、滴滴等互聯(lián)網公司共同建設,包括全局字典函數、同步物化視圖增強、Paimon Catalog等在內的許多feature都由互聯(lián)網大廠貢獻,以后注定也還會從大廠生產環(huán)境中持續(xù)吸收靈感和助力,給業(yè)界帶來更多驚喜。
與此同時,圍繞StarRocks形成的商業(yè)生態(tài)也越來越完善,以鏡舟科技為代表的商業(yè)團隊不斷提升著產品的易用性、穩(wěn)定性,將產品能力落地到復雜的需求環(huán)境中,創(chuàng)造更大價值。
隨著此次峰會精彩內容的傳播,相信會有越來越多的企業(yè)受到啟發(fā),利用OLAP領域的最前沿技術,完成自身業(yè)務場景的升級和進化。