早在10年前,那還是傳統(tǒng)存儲(chǔ)系統(tǒng)最輝煌的時(shí)刻。當(dāng)時(shí)的“存儲(chǔ)軟件”這個(gè)詞所包含的范圍如下: 1. 指代存儲(chǔ)系統(tǒng)中的一些軟件功能,比如快照、Thin、容災(zāi)復(fù)制及切換管理等等功能。這些功能往往以License的方式授權(quán)。 2.存儲(chǔ)系統(tǒng)管理軟件、備份軟件、雙機(jī)HA+遠(yuǎn)程復(fù)制套件、多路徑軟件等主機(jī)端功能性套件。 3. FreeNAS、OpenFiler,ComSTAR、ZFS等開源存儲(chǔ)系統(tǒng)OS。 ZFS,單控和雙控時(shí)代的明星軟件 在傳統(tǒng)存儲(chǔ)輝煌的時(shí)代背景下,二三線廠商、初創(chuàng)廠商,以及一些做備份容災(zāi)類產(chǎn)品的廠商,有不少是基于ZFS來搭建的。如果是作為容災(zāi)備份類產(chǎn)品,單控足以,而且不需要太高性能,ZFS這種幾乎是全功能的開源套件非常適合于迅速推出產(chǎn)品,而且規(guī)格也很好看。對于二三線SAN存儲(chǔ)廠商,則還需要在ZFS之上做二次開發(fā),增加雙控的緩存鏡像、以Lun為粒度的互備管理等功能,然而ZFS作為一個(gè)全能型選手,其架構(gòu)比較龐大,直接導(dǎo)致IO時(shí)延較高,很不利于OLTP類或者同步IO為主的業(yè)務(wù)場景,這也讓這些廠商苦不堪言。 對于FreeNAS、OpenFIler這種存儲(chǔ)底層框架軟件,其無論是在性能、穩(wěn)定性還是擴(kuò)展性上,均不足以支撐商用產(chǎn)品,但是卻是DIY或者自用的好選擇,所以并沒有得到廣泛認(rèn)知。 眨眼間,這些存儲(chǔ)系統(tǒng)老炮們突然發(fā)現(xiàn)自己老了。其實(shí)是突然出現(xiàn)一幫搞分布式存儲(chǔ)的人出來占領(lǐng)傳統(tǒng)存儲(chǔ)系統(tǒng)所壟斷的市場。筆者認(rèn)為,分布式存儲(chǔ)之所以能夠在短短幾年之間雨后春筍的生長,其技術(shù)原因有兩個(gè):10GE網(wǎng)絡(luò)的迅速普及、固態(tài)存儲(chǔ)的迅速普及。依賴于這兩個(gè)技術(shù),分布式系統(tǒng)實(shí)現(xiàn)易如反掌,可以擁有足夠的擴(kuò)展性以及足夠的性能。其市場推手則是互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)等這些只能依靠大規(guī)模集群來搞定的場景和概念迅速被認(rèn)知,以至于其已經(jīng)深入到新生代工程師的思想底層,深入到了市場分析師、分享投資人的思想底層。這就不得了了,傳統(tǒng)存儲(chǔ)的根基直接被撼動(dòng),而且逐漸會(huì)土崩瓦解,最終傳統(tǒng)存儲(chǔ)系統(tǒng)只會(huì)把持一部分關(guān)鍵業(yè)務(wù)市場,大量的非關(guān)鍵業(yè)務(wù)和外圍業(yè)務(wù),將會(huì)遷移到新興存儲(chǔ)系統(tǒng)上。 Ceph,分布式時(shí)代的ZFS 正如ZFS在10年前的狀態(tài)一樣,Ceph作為當(dāng)今分布式流行時(shí)代的明星開源分布式存儲(chǔ)系統(tǒng)實(shí)現(xiàn),被無數(shù)的知名的、不知名的公司、個(gè)人用來搭建自用的、商用的分布式存儲(chǔ)系統(tǒng)。正如當(dāng)年ZFS一樣,Ceph幾乎支持所有存儲(chǔ)系統(tǒng)該有的功能,而且支持分布式架構(gòu),支持文件、塊、對象訪問。基于這個(gè)框架,二次開發(fā)者也可以迅速推出產(chǎn)品。然而,如ZFS一樣,其也是由于架構(gòu)太過龐大,導(dǎo)致性能不佳,主要體現(xiàn)在高時(shí)延方面,對于并發(fā)量較大的異步IO場景問題不大,對于一些交易類業(yè)務(wù)性能較差。 也有些知名廠商采用自己的私有架構(gòu),但是這些廠商的產(chǎn)品往往價(jià)格很高,甚至與傳統(tǒng)存儲(chǔ)相比在價(jià)格上沒有任何優(yōu)勢。業(yè)界將這類分布式存儲(chǔ)包裝為“軟件定義存儲(chǔ)”。當(dāng)然,實(shí)際中也有不少產(chǎn)品依然是軟硬綁定一起賣,與傳統(tǒng)存儲(chǔ)系統(tǒng)區(qū)別不大,只不過后者的軟件和硬件系統(tǒng)更加封閉,前者更加開放。 分布式存儲(chǔ)系統(tǒng)的關(guān)鍵點(diǎn) 彈性 分布式系統(tǒng)應(yīng)該擁有極強(qiáng)的擴(kuò)展性,這也是其區(qū)別于傳統(tǒng)存儲(chǔ)系統(tǒng)的關(guān)鍵點(diǎn)。并且可擴(kuò)可縮,對上層保持透明。一個(gè)良好的分布式系統(tǒng)應(yīng)該可以擴(kuò)展到數(shù)千個(gè)節(jié)點(diǎn)。如何管理如此大規(guī)模的節(jié)點(diǎn)數(shù)量成為一個(gè)難題。比如,浪潮下月將發(fā)布的基于天蝎標(biāo)準(zhǔn)的整機(jī)柜軟件定義存儲(chǔ)系統(tǒng)(AS13000-Rack)就可以達(dá)到最大超過5120個(gè)節(jié)點(diǎn)的規(guī)模。 可靠性 傳統(tǒng)存儲(chǔ)系統(tǒng)以可靠性著稱。為了節(jié)省成本,目前多數(shù)商用分布式存儲(chǔ)系統(tǒng)并沒有采用雙冗余部件,而是通過軟件,在上層源頭上將數(shù)據(jù)復(fù)制成兩份或者多份副本,當(dāng)由于任何原因?qū)е缕渲幸环莞北緹o法訪問時(shí),系統(tǒng)可以轉(zhuǎn)為訪問其他副本。 方便部署 傳統(tǒng)存儲(chǔ)系統(tǒng)的部署門檻很高,因?yàn)槠渖婕暗椒浅6嗟牟考热鏢AN交換機(jī)、HBA、單獨(dú)設(shè)計(jì)的控制器、JBOD及它們之間的特殊的連線方式等。而分布式存儲(chǔ)基于傳統(tǒng)標(biāo)準(zhǔn)服務(wù)器,很少有JBOD,其部署相對簡單,但是在超大規(guī)模數(shù)據(jù)中心場景下,部署大量節(jié)點(diǎn)時(shí)仍然是個(gè)很大挑戰(zhàn)。如何能夠更加方便的部署成為分布式存儲(chǔ)系統(tǒng)的關(guān)鍵考量點(diǎn)。 大規(guī)模部署場景下,對硬件部署的速度、便捷性等方面的要求就會(huì)非常高。筆者劇透一下,浪潮預(yù)計(jì)下月發(fā)布的AS13000-Rack分布式存儲(chǔ)系統(tǒng)的硬件基于天蝎標(biāo)準(zhǔn)的整機(jī)柜硬件方案(SmartRack),此硬件平臺已經(jīng)在BAT大型互聯(lián)網(wǎng)數(shù)據(jù)中心里久經(jīng)沙場了,其中一家甚至70%以上新采購計(jì)算節(jié)點(diǎn)都是以整機(jī)柜方式部署了。這種硬件平臺能夠以比傳統(tǒng)機(jī)架服務(wù)器快8倍的速度部署交付給最終用戶,非常適合于大規(guī)模部署及管理。 廣泛的業(yè)務(wù)場景適配 分布式存儲(chǔ)系統(tǒng)想要得到更加廣泛的認(rèn)知和應(yīng)用,就必須針對各種業(yè)務(wù)場景進(jìn)行適配和優(yōu)化。有些業(yè)務(wù)天生是分布式的,比如一些分布式數(shù)據(jù)庫,其天然將數(shù)據(jù)進(jìn)行切分然后松耦合運(yùn)行,盡量減少產(chǎn)生跨節(jié)點(diǎn)流量,這種場景非常適合分布式存儲(chǔ)系統(tǒng);而有些業(yè)務(wù)則是徹底的單機(jī)版,其在單一節(jié)點(diǎn)上訪問全局?jǐn)?shù)據(jù),此時(shí)不可避免需要跨網(wǎng)絡(luò)訪問,此時(shí)就要求系統(tǒng)針對此種情況作出優(yōu)化,比如采用RDMA等低時(shí)延跨節(jié)點(diǎn)訪問路徑。另外,OLAP和OLTP這兩大類業(yè)務(wù)的IO需求有顯著不同,前者對時(shí)延沒有什么要求,對并發(fā)度和吞吐量有要求;而后者則對時(shí)延和并發(fā)度都有要求,如何兼顧這些業(yè)務(wù)場景,是分布式存儲(chǔ)系統(tǒng)設(shè)計(jì)上的一個(gè)難點(diǎn)。 浪潮AS13000分布式存儲(chǔ)系統(tǒng)針對各種場景做了深入調(diào)研分析,抽象出一些底層類模型,應(yīng)用到IO路徑的設(shè)計(jì)當(dāng)中,可以應(yīng)對主流的業(yè)務(wù)場景,發(fā)揮出應(yīng)用的性能。除此之外,還針對不同場景支持不同的訪問協(xié)議,比如傳統(tǒng)的塊級訪問和文件訪問,以及面對新興業(yè)務(wù)的對象訪問方式。 浪潮的軟件定義存儲(chǔ)戰(zhàn)略 AS13000 是浪潮推出的一款大規(guī)模分布式存儲(chǔ)系統(tǒng)。其支持容量、性能的在線無限擴(kuò)展,提供軟硬件故障情況下的數(shù)據(jù)重建、遠(yuǎn)程容災(zāi)功能,是適用于云計(jì)算、大數(shù)據(jù)業(yè)務(wù)并兼具高性能、高可靠、高可擴(kuò)展、大容量特征的新一代存儲(chǔ)系統(tǒng)平臺。 根據(jù)這份路標(biāo)顯示,AS13000將實(shí)現(xiàn)包括萬億文件檢索、IO協(xié)議棧優(yōu)化、小文件性能加速、全閃存、應(yīng)用感知等多方面的精細(xì)化優(yōu)化技術(shù)。這些面對新興業(yè)務(wù)場景的優(yōu)化,真正體現(xiàn)浪潮的AS13000分布式存儲(chǔ)在面對這個(gè)全新時(shí)代時(shí)所作出的及時(shí)的響應(yīng)和規(guī)劃,這種精細(xì)化智能存儲(chǔ)系統(tǒng)也正是這個(gè)全新時(shí)代所需要的。 SDS是改變數(shù)據(jù)中心的洪荒之力嗎?這個(gè)問題相信大家在看到浪潮AS13000廣泛的應(yīng)用場景和技術(shù)優(yōu)勢之后已經(jīng)心里有了答案。而關(guān)于AS13000新品的詳細(xì)解讀,筆者想在這里先賣個(gè)關(guān)子,下月SDS新品發(fā)布時(shí)咱們不見不散。 浪潮AS13000 |
|