在數(shù)據(jù)體量121億條賬戶下進行資金查詢測試丰歌，天云數(shù)據(jù)Hubble的性能是Impala的231%倍姨蟋。
Impala，一種棲息在非洲南部的高角羚立帖，行動敏捷奔跑迅速眼溶，以其優(yōu)雅的姿勢和杰出的跳躍能力而出名。受驚的時候可以跳起?3米高晓勇，9米遠堂飞。
Cloudera研發(fā)這頭高角羚（Impala）的初衷也很明了——提高Hive SQL查詢的速度灌旧。就官方測試性能開看，Impala比Hive快10到100倍绰筛，其SQL查詢比SparkSQL還要更加快速节榜。Impala號稱是當前大數(shù)據(jù)領(lǐng)域最快的查詢SQL工具，也因其更快的速度被市場所熟知别智。其面對即席查詢(Ad-Hoc Query)類請求的穩(wěn)定性和速度在工業(yè)界得到過廣泛的驗證宗苍。
我們所熟知阿里巴巴、百度薄榛、google讳窟、facebook，包括新一代的分布式計算敞恋、容器化丽啡、機器學習人工智能等技術(shù)框架都在使用Impala。Impala突破了單機技術(shù)的限制硬猫，打開了分布式技術(shù)的大門补箍，是技術(shù)架構(gòu)革命性創(chuàng)新的引領(lǐng)者。
眾所周知啸蜜，傳統(tǒng)技術(shù)機構(gòu)主要依賴于-IOE（?IBM的小型機坑雅、Oracle數(shù)據(jù)庫、EMC存儲設(shè)備）衬横，只能通過增加配置提升性能裹粤，系統(tǒng)無法橫向水平擴展。分布式存儲不僅解決了單機存儲的性能瓶頸蜂林，還支撐海量數(shù)據(jù)在線實時并發(fā)服務(wù)應(yīng)用遥诉。
傳統(tǒng)技術(shù)好比轎車，能承載多少人是固定的噪叙，想多承載人只能換成客車矮锈；但分布式存儲技術(shù)好比火車和高鐵，按節(jié)承載睁蕾，遇到春運可以增加車廂運輸客流量苞笨。
國產(chǎn)數(shù)據(jù)庫產(chǎn)品Hubble就是這高速列車，雖不是為速度而生惫霸，卻在速度上趕超Impala猫缭。
在數(shù)據(jù)體量121億條賬戶下進行資金查詢測試，?Hubble的性能是Impala的231%倍壹店。
之所以做這個測試猜丹，源于某證券用戶在使用Hubble進行數(shù)據(jù)查詢后，感嘆到：這也太快了硅卢，簡直比Impala還快射窒。
Hubble藏杖，人類天眼，位于地球的大氣層之上的光學望遠鏡脉顿。從1990年到2015年4月蝌麸，哈勃望遠鏡在地球軌道上運行了接近13萬7千圈，累計54億公里艾疟，執(zhí)行了120多萬次觀測任務(wù)来吩，觀察了超過38，000個天體蔽莱，增進了人類對宇宙的了解弟疆。“哈勃遺產(chǎn)場”是迄今最完整最全面的宇宙圖譜盗冷。
天云數(shù)據(jù)研發(fā)Hubble的初衷也非常明了怠苔，融合傳統(tǒng)數(shù)據(jù)庫形成支持混合負載交易的數(shù)據(jù)聯(lián)邦。在實際應(yīng)用中仪糖，hubble完成了‘去IOE’中最困難的部分柑司，在幾家大型商業(yè)銀行核心交易中成功替換Oracle，在銀行的聯(lián)機事務(wù)中解決A類核心系統(tǒng)減負問锅劝。一句話概述攒驰，Hubble讓生態(tài)合作伙伴無縫切入大數(shù)據(jù)服務(wù)領(lǐng)域。
?
在分布式的新世界里鸠天，數(shù)據(jù)從‘生產(chǎn)產(chǎn)物’變成了‘生產(chǎn)者’讼育，數(shù)據(jù)身份的轉(zhuǎn)換對技術(shù)帐姻、人才的需求都發(fā)生了改變稠集。很多企業(yè)想進入大數(shù)據(jù)服務(wù)領(lǐng)域，苦于人才難找饥瓷、技術(shù)不行剥纷、項目周期太長、運維成本太高呢铆。這就好比一個人想寫一本內(nèi)容涵蓋家庭裝修晦鞋、家庭布置、家庭關(guān)系處理的書棺克，雖然都跟家庭有關(guān)悠垛，但具體內(nèi)容卻是術(shù)業(yè)有專攻，需要大量時間學習這三個方向的內(nèi)容然后進行整合娜谊。但是在hubble的世界里只需調(diào)動這三個方向的專家确买，讓他們各自撰寫自己擅長的內(nèi)容，然后整合到一起纱皆，專業(yè)度更有保障湾趾，出書所需時間更短芭商。
為什么Hubble會在速度上如此有優(yōu)勢？
從?SQL?解析層上搀缠，Hubble?采用基于?AI?評估函數(shù)創(chuàng)建模型铛楣，在需要的時候直接調(diào)用完成目 標的預(yù)測并估算每組執(zhí)行計劃的代價。簡單來說艺普，就是用經(jīng)驗使用數(shù)據(jù)簸州，用數(shù)據(jù)更新經(jīng)驗， 雙管齊下速度更優(yōu)歧譬。
在數(shù)據(jù)存儲層上勿侯，Hubble?采用基于切片的列式存儲和?KV?存儲的混合部署模式。大數(shù)據(jù)環(huán)境下的Hbase缴罗、HP Vertica助琐、EMC Greenplum?等分布式數(shù)據(jù)庫采用的列式存儲。常規(guī)行式存儲下一張表的數(shù)據(jù)都是放在一起的面氓，查詢時所有數(shù)據(jù)都要被讀取兵钮。但列式存儲下數(shù)據(jù)被分開保存了，查詢時只有涉及到的列會被讀取舌界，從而對于大表數(shù)據(jù)效率更高掘譬。KV?存儲把不常變動的一些數(shù)據(jù)存儲在kvstore中，需要的時候直接憑借key拿出value?就好呻拌，方便快捷就是它應(yīng)對隨機IO訪問的優(yōu)勢葱轩。在大規(guī)模數(shù)據(jù)同時支持密集AP計算和TP并發(fā)場景下，基于數(shù)據(jù)切片的混布存儲策略可以彈性適應(yīng)IO特性藐握，需要進一步優(yōu)化時也可以快速做庫內(nèi)轉(zhuǎn)換靴拱，避免數(shù)據(jù)復制和冗余。
在數(shù)據(jù)計算上猾普，hubble是基于內(nèi)存的計算框架袜炕，輸出結(jié)果可以保存在內(nèi)存中，減少數(shù)據(jù)的落地初家，后續(xù)的執(zhí)行結(jié)果有依賴前面結(jié)果的可以直接從內(nèi)存中獲取得到偎窘，避免了磁盤的io操作，性能更高速度更快溜在。
據(jù)IDC預(yù)測陌知，2017-2022年，全球軟分布式存儲市場規(guī)模的平均增速為14.7%掖肋，而中國分布式存儲市場的平均增速為32.5%仆葡。有分析師樂觀地預(yù)測，未來3年培遵，在中國市場上浙芙，分布式存儲或?qū)⒄紦?jù)整個存儲市場的半壁江山登刺。
?
未來學家阿爾文·托夫勒說：“如今所有的國家都面對一個逃不了的規(guī)律—最快者生存∥撕簦“
