作者：寧川  來(lái)源：云科技時(shí)代 

數(shù)據(jù)庫(kù)與中間件和操作系統(tǒng)并列為全球三大基礎(chǔ)軟件技術(shù)，也是企業(yè)IT系統(tǒng)必不可少的核心技術(shù)，銀行、電信、制造、互聯(lián)網(wǎng)等所有行業(yè)都依賴于數(shù)據(jù)庫(kù)技術(shù)。由于其技術(shù)的高難度，數(shù)據(jù)庫(kù)長(zhǎng)期以來(lái)被少數(shù)公司控制了絕大部分市場(chǎng)份額。據(jù)不同的統(tǒng)計(jì)口徑，全球數(shù)據(jù)庫(kù)市場(chǎng)在300億美金到600億美金之間，商用數(shù)據(jù)庫(kù)的領(lǐng)導(dǎo)廠商主要是Oracle、微軟、IBM和SAP。

自1968年IBM推出了第一代數(shù)據(jù)庫(kù)DB1以及1970年IBM工程師Edgar Codd寫(xiě)下了最早的關(guān)系型數(shù)據(jù)模型構(gòu)想的論文，隨后的30年間出現(xiàn)了著名的數(shù)據(jù)庫(kù)公司Oracle（1977年成立）、Informix（1980年成立，后被IBM收購(gòu)）、Sybase（1984年成立，后被SAP收購(gòu)）、Sybase與微軟合作的SQL Server（后由微軟接管）等，全球數(shù)據(jù)庫(kù)產(chǎn)業(yè)在2000年前后進(jìn)行了第一次大戰(zhàn)并主要形成IBM、微軟、Oracle三巨頭格局。

2000年以后的互聯(lián)網(wǎng)和云計(jì)算技術(shù)變革，為數(shù)據(jù)庫(kù)技術(shù)帶來(lái)了“釜底抽薪”的底層計(jì)算系統(tǒng)變化，導(dǎo)致了以開(kāi)源、分布式和云計(jì)算為主導(dǎo)的新數(shù)據(jù)庫(kù)時(shí)代。2012年Google發(fā)布論文首次對(duì)外介紹了自研的具有劃時(shí)代意義的Spanner全球分布式數(shù)據(jù)庫(kù)、2014年AWS推出了云原生關(guān)系型數(shù)據(jù)庫(kù)Aurora、2017年阿里云推出云原生關(guān)系型數(shù)據(jù)庫(kù)POLARDB，2018年10月Gartner全球數(shù)據(jù)庫(kù)魔力象限的領(lǐng)導(dǎo)者和挑戰(zhàn)者象限出現(xiàn)了7強(qiáng)格局：微軟、Oracle、SAP、AWS、Google、IBM和阿里云。

2019年3月21日的2019阿里云峰會(huì)·北京上，阿里云發(fā)布了POLARDB的2.0版本，實(shí)現(xiàn)了首次兼容Oracle數(shù)據(jù)庫(kù)，可幫助金融、醫(yī)療、制造等大型企業(yè)在數(shù)小時(shí)內(nèi)完成業(yè)務(wù)遷移。除阿里云外，其它國(guó)內(nèi)云廠商也相繼推出了自研的云數(shù)據(jù)庫(kù)和分布式數(shù)據(jù)庫(kù)產(chǎn)品。2019新年伊始，數(shù)據(jù)庫(kù)產(chǎn)業(yè)50年的第二次“世界大戰(zhàn)”已經(jīng)硝煙四起。

電商巨頭的技術(shù)溢出效應(yīng)

從Gartner的2018全球數(shù)據(jù)庫(kù)魔力象限來(lái)看，AWS與阿里云是兩大電商巨頭的對(duì)外技術(shù)輸出平臺(tái)，AWS與阿里云都推出了種類豐富的數(shù)據(jù)庫(kù)產(chǎn)品。而Google雖然是全球互聯(lián)網(wǎng)技術(shù)和云技術(shù)的“大牛”，但Google內(nèi)部技術(shù)的對(duì)外商用化輸出往往晚于市場(chǎng)，Cloud Spanner就是直到2017年才向市場(chǎng)推出。

過(guò)去十年，電商巨頭的技術(shù)溢出效應(yīng)十分明顯。AWS目前已經(jīng)推出的數(shù)據(jù)庫(kù)產(chǎn)品包括Amazon DynamoDB（非關(guān)系型文檔和鍵值數(shù)據(jù)庫(kù)）、Amazon ElastiCache （提供Redis和Memcached開(kāi)源分布式緩存數(shù)據(jù)庫(kù)) 、Amazon Neptune（圖數(shù)據(jù)庫(kù)）、Amazon Elastic MapReduce（EMR）Hadoop發(fā)行版，以及Amazon Relational Database Service（Amazon RDS，支持Amazon Aurora、MariaDB、Microsoft SQL Server、MySQL、Oracle和PostgreSQL等的云數(shù)據(jù)庫(kù)服務(wù)）以及云原生數(shù)據(jù)庫(kù)Amazon Aurora for MySQL and PostgreSQL等。

而阿里云已經(jīng)推出的數(shù)據(jù)庫(kù)產(chǎn)品包括ApsaraDB for RDS（關(guān)系型云數(shù)據(jù)庫(kù)服務(wù)，支持MySQL即AliSQL、SQL Server、PostgreSQL、Redis等）、PolarDB（云原生數(shù)據(jù)庫(kù)，支持MySQL、PostgreSQL、Oracle）、HybridDB for MySQL and PostgreSQL（云數(shù)據(jù)倉(cāng)庫(kù)）、Elastic MapReduce for Hadoop、HiTSDB（時(shí)序數(shù)據(jù)庫(kù)）、X-DB（分布式數(shù)據(jù)庫(kù)）、GraphDB（圖數(shù)據(jù)庫(kù)）等，此外阿里云Apsara Stack還支持企業(yè)本地化私有云部署。

無(wú)論是AWS還是阿里云，所提供的數(shù)據(jù)庫(kù)及數(shù)據(jù)服務(wù)種類繁多，覆蓋了絕大多數(shù)用戶場(chǎng)景，特別是由于電商交易系統(tǒng)的特殊性，AWS和阿里云等開(kāi)發(fā)了支持?jǐn)?shù)據(jù)強(qiáng)一致的交易型分布式數(shù)據(jù)庫(kù)，能夠滿足金融類業(yè)務(wù)的苛刻需求，而成本則遠(yuǎn)低于商業(yè)數(shù)據(jù)庫(kù)。

為什么電商企業(yè)如此孜孜不倦的鉆研數(shù)據(jù)庫(kù)呢？以阿里云為例。阿里最早從淘寶、天貓等電商業(yè)務(wù)發(fā)展起來(lái)，當(dāng)時(shí)采用的就是IBM DB2和Oracle商用數(shù)據(jù)庫(kù)，支持了早期淘寶、天貓的快速發(fā)展，這是阿里數(shù)據(jù)庫(kù)發(fā)展第一個(gè)階段。到了2011和2012的時(shí)候，雙11開(kāi)始上規(guī)模，業(yè)務(wù)高速發(fā)展對(duì)傳統(tǒng)的Oracle企業(yè)級(jí)數(shù)據(jù)庫(kù)解決方案提出了挑戰(zhàn)，成本太高是首當(dāng)其沖的挑戰(zhàn)，其次當(dāng)電商業(yè)務(wù)邏輯變復(fù)雜以后，需要理解Oracle數(shù)據(jù)庫(kù)的技術(shù)實(shí)現(xiàn)，以便從根本上解決業(yè)務(wù)極限場(chǎng)景的挑戰(zhàn)，但無(wú)論是請(qǐng)Oracle專家到現(xiàn)場(chǎng)的時(shí)間還是成本都無(wú)法滿足業(yè)務(wù)要求，阿里巴巴從2012、2013年后就開(kāi)始大規(guī)模使用開(kāi)源數(shù)據(jù)庫(kù)，這是阿里數(shù)據(jù)庫(kù)發(fā)展的第二階段。第三個(gè)發(fā)展階段就是云時(shí)代，阿里云的業(yè)務(wù)快速發(fā)展要求自研云原生數(shù)據(jù)庫(kù)，這就是POLARDB的誕生邏輯；以及在阿里集團(tuán)業(yè)務(wù)中，傳統(tǒng)用中間件進(jìn)行開(kāi)源數(shù)據(jù)庫(kù)分為分表的解決方案也不能滿足業(yè)務(wù)要求，這就是X-DB的的誕生邏輯。

簡(jiǎn)單來(lái)說(shuō)，電商企業(yè)的技術(shù)溢出是被業(yè)務(wù)倒逼的結(jié)果。阿里電商雙十一場(chǎng)景，在世界范圍內(nèi)來(lái)看都絕無(wú)僅有，這也給了中國(guó)電商企業(yè)登頂全球基礎(chǔ)軟件技術(shù)領(lǐng)導(dǎo)地位的機(jī)會(huì)。作為全球絕無(wú)僅有的高并發(fā)挑戰(zhàn)，阿里分布式技術(shù)經(jīng)過(guò)雙十一極限流量洪峰的實(shí)戰(zhàn)考驗(yàn)，這也是為什么阿里云能夠首次代表中國(guó)廠商沖入Gartner全球數(shù)據(jù)庫(kù)魔力象限。2018年，美國(guó)猶他大學(xué)計(jì)算機(jī)系終身正教授、世界級(jí)數(shù)據(jù)庫(kù)系統(tǒng)專家李飛飛，正式加入阿里巴巴，任數(shù)據(jù)庫(kù)產(chǎn)品事業(yè)部負(fù)責(zé)人以及達(dá)摩院任數(shù)據(jù)庫(kù)首席科學(xué)家，他于2018年底入選了2018 ACM杰出科學(xué)家。李飛飛門(mén)下弟子遍布全球所有頂尖企業(yè)的數(shù)據(jù)庫(kù)部門(mén)，但李飛飛自己卻選中了阿里，其主要原因就是阿里的全球獨(dú)一無(wú)二的業(yè)務(wù)場(chǎng)景。

云廠商集開(kāi)源技術(shù)大成

（阿里達(dá)摩院數(shù)據(jù)庫(kù)首席科學(xué)家李飛飛）

2019年是阿里云十周年、AWS進(jìn)入第13個(gè)年頭。云廠商對(duì)于開(kāi)源技術(shù)的集大成，正在進(jìn)入全新的階段。2014年AWS發(fā)布Amazon Aurora的時(shí)候，當(dāng)時(shí)稱性能與商用數(shù)據(jù)庫(kù)相當(dāng)，但成本只有商用數(shù)據(jù)庫(kù)的1/10。而2017年阿里云推出POLARDB的時(shí)候，在100TB的數(shù)據(jù)容量上提供了10倍于傳統(tǒng)商業(yè)數(shù)據(jù)庫(kù)的性價(jià)比，如今性能達(dá)到AWS Aurora的2倍。

不可否認(rèn)，阿里云的數(shù)據(jù)庫(kù)發(fā)展離不開(kāi)Google和AWS等前輩的指引。谷歌最早提出了Spanner，可以實(shí)現(xiàn)跨數(shù)據(jù)中心的數(shù)據(jù)強(qiáng)一致性，這在當(dāng)時(shí)是跨時(shí)代的技術(shù)，但谷歌其實(shí)是巧妙的利用了原子鐘的硬件解決方案；PostgreSQL的XC/XL開(kāi)源分布式數(shù)據(jù)庫(kù)使用的是GTM（Global Transaction Manager）解決方案。阿里云的X-DB則采用了混合邏輯來(lái)解決分布式事務(wù)處理和查詢，已經(jīng)支持了幾乎阿里集團(tuán)所有海量數(shù)據(jù)高并發(fā)的場(chǎng)景。

如今，阿里云正在把多個(gè)領(lǐng)先的數(shù)據(jù)庫(kù)技術(shù)融合起來(lái)，以滿足客戶的更多、更高需求。云原生數(shù)據(jù)庫(kù)POLARDB采用了存儲(chǔ)計(jì)算分離、軟硬件一體化設(shè)計(jì)，通過(guò)高速的RDMA網(wǎng)絡(luò)提供共享存儲(chǔ)的架構(gòu)，可以快速實(shí)現(xiàn)彈性縮擴(kuò)容，單個(gè)實(shí)例可擴(kuò)展到1000核計(jì)算能力、同時(shí)可以橫向擴(kuò)展到100TB存儲(chǔ)空間，滿足大規(guī)模業(yè)務(wù)場(chǎng)景的需求，2.0版本則兼容Oracle。據(jù)了解，POLARDB與X-DB的優(yōu)勢(shì)即將融合成一體，也就是即將推出的POLARDB分布式版本。

即將推出的POLARDB分布式版本是在POLARDB共享存儲(chǔ)、一寫(xiě)多讀的架構(gòu)上結(jié)合X-DB的核心分布式技術(shù)，這樣企業(yè)就可以利用X-DB的分庫(kù)分表強(qiáng)一致分布式技術(shù)掛起多個(gè)POLARDB實(shí)例，支持幾乎無(wú)限的水平規(guī)模拓展，滿足企業(yè)級(jí)上百個(gè)節(jié)點(diǎn)高并發(fā)業(yè)務(wù)需求。POLARDB分布式版本的推出，將用一個(gè)通用商業(yè)數(shù)據(jù)庫(kù)產(chǎn)品來(lái)滿足公共云上大中小企業(yè)的需求以及線下企業(yè)級(jí)超大規(guī)模用戶的需求。這款產(chǎn)品最大的好處之一，在于底層接入的不是單節(jié)點(diǎn)數(shù)據(jù)庫(kù)，而是分布式共享存儲(chǔ)且單機(jī)支持100T，這樣一個(gè)200T的數(shù)據(jù)庫(kù)只需要兩個(gè)POLARDB實(shí)例即可，大幅降低了跨分區(qū)處理的可能性。

POLARDB分布式版本這樣一個(gè)集大成的通用型全場(chǎng)景覆蓋數(shù)據(jù)庫(kù)產(chǎn)品，當(dāng)前阿里云已經(jīng)儲(chǔ)備了足夠的技術(shù)和實(shí)踐，現(xiàn)在的主要工作是產(chǎn)品化、標(biāo)準(zhǔn)化，以便能夠快速規(guī)?；渴?。李飛飛認(rèn)為，阿里巴巴在分布式數(shù)據(jù)庫(kù)的某些領(lǐng)域和某些維度上，可能超過(guò)像谷歌這樣公司在分布式領(lǐng)域的積累，這是因?yàn)槿魏渭夹g(shù)都是業(yè)務(wù)推動(dòng)衍生出來(lái)的，只要有業(yè)務(wù)場(chǎng)景就能推動(dòng)其技術(shù)從跟隨發(fā)展到后發(fā)領(lǐng)先。

除了分布式和云原生數(shù)據(jù)庫(kù)技術(shù)外，李飛飛所帶領(lǐng)的團(tuán)隊(duì)還專注于數(shù)據(jù)庫(kù)生態(tài)工具庫(kù)，也就是開(kāi)發(fā)各種輔助工具幫助客戶用好數(shù)據(jù)庫(kù)。阿里云的一個(gè)數(shù)據(jù)庫(kù)生態(tài)工具就是針對(duì)混合數(shù)據(jù)庫(kù)和混合云之間的數(shù)據(jù)遷移工具ADAM，可以大幅減少不同類型數(shù)據(jù)庫(kù)和云部署之間數(shù)據(jù)遷移的各種消耗和對(duì)業(yè)務(wù)的沖擊；另一個(gè)工具是混合數(shù)據(jù)庫(kù)管理，可以管理A/B數(shù)據(jù)庫(kù)、云上和云下數(shù)據(jù)庫(kù)等混部架構(gòu)，滿足業(yè)務(wù)對(duì)混部數(shù)據(jù)庫(kù)的訪問(wèn)和統(tǒng)一控制管理需求。

據(jù)了解，阿里云數(shù)據(jù)庫(kù)很快將在2019年SIGMOD大會(huì)上介紹阿里云雙十一場(chǎng)景下的分布式數(shù)據(jù)庫(kù)架構(gòu)。此前，谷歌Spanner、AWS Aurora等都是首先在SIDMOD會(huì)議上發(fā)布。而阿里云將登陸2019年SIGMOD會(huì)議，這也代表了中國(guó)技術(shù)廠商的成就。

展望未來(lái)幾年，全球數(shù)據(jù)庫(kù)市場(chǎng)將迎來(lái)50年的第二次巨變。在2018 Gartner全球數(shù)據(jù)庫(kù)魔力象限的7強(qiáng)格局中，AWS、阿里云和Google為開(kāi)源技術(shù)廠商，微軟、Oracle和IBM也大舉支持開(kāi)源技術(shù)。Gartner預(yù)計(jì)，開(kāi)源數(shù)據(jù)庫(kù)將在2019年占據(jù)20%的數(shù)據(jù)庫(kù)市場(chǎng)份額，而到2023年75%的數(shù)據(jù)庫(kù)都將登陸云平臺(tái)。一場(chǎng)數(shù)據(jù)庫(kù)的世紀(jì)之戰(zhàn)，已經(jīng)在所難免。