海量存儲(chǔ)系列之十
http://qing.weibo.com/1765738567/693f0847330008x6.html 上一篇
上一次,我們介紹了幾種常見(jiàn)的kv存儲(chǔ)模型,下面我們就正式進(jìn)入到分布式存儲(chǔ)的場(chǎng)景里去看看這套東西在分布式場(chǎng)景下的運(yùn)作方式吧。
在分布式key-value中,很多原來(lái)的知識(shí)是可以繼續(xù)復(fù)用的。因?yàn)閗-v解決的問(wèn)題實(shí)在是非常的簡(jiǎn)單,只不過(guò)是根據(jù)一個(gè)key找到v
長(zhǎng)文
2011
12/22
海量存儲(chǔ)系列之九
長(zhǎng)文
2011
12/18
海量存儲(chǔ)系列之八
首先來(lái)回答一個(gè)問(wèn)題:為什么在磁盤中要使用b+樹(shù)來(lái)進(jìn)行文件存儲(chǔ)呢?
原因還是因?yàn)闃?shù)的高度低得緣故,磁盤本身是一個(gè)順序讀寫(xiě)快,隨機(jī)讀寫(xiě)慢的系統(tǒng),那么如果想高效的從磁盤中找到數(shù)據(jù),勢(shì)必需要滿足一個(gè)最重要的條件:減少尋道次數(shù)。
我們以平衡樹(shù)為例進(jìn)行對(duì)比,就會(huì)發(fā)現(xiàn)問(wèn)題所在了:
先上個(gè)圖
&nb
長(zhǎng)文
2011
12/10
海量存儲(chǔ)系列之七
http://qing.weibo.com/1765738567/693f0847330007ay.html 上一篇
在上一個(gè)章節(jié),我們闡述了分布式場(chǎng)景下,事務(wù)的問(wèn)題和一些可能的處理方式后,我們來(lái)到了下一章節(jié)
Key-value存儲(chǔ)
這一章,我們將進(jìn)入k-v場(chǎng)景,其實(shí),在大部分場(chǎng)景下,如果某個(gè)產(chǎn)品宣稱自己的寫(xiě)讀tps超過(guò)其他存儲(chǔ)n倍,一般來(lái)說(shuō)都是從k-v這
長(zhǎng)文
2011
12/07
海量存儲(chǔ)系列之六
抱歉大家,間隔有點(diǎn)久,因?yàn)檫@一章要比較細(xì)致的總結(jié),所以有些時(shí)間耽誤。上次我們講到,單機(jī)事務(wù)個(gè)我們面臨的問(wèn)題,下面我們來(lái)說(shuō)一些我所知的解決的方法。
在我開(kāi)始做淘寶數(shù)據(jù)層的時(shí)候,被問(wèn)得最多的無(wú)非也就是:如何做事務(wù),如何做join.至今仍然如此,我一般都會(huì)簡(jiǎn)單而明確
長(zhǎng)文
2011
11/27
海量存儲(chǔ)系列之五
http://qing.weibo.com/1765738567/693f08473300067j.html 上一篇
在上一章節(jié),我們一起瀏覽了如何進(jìn)行單機(jī)事務(wù)操作。下面我們來(lái)看一下分布式場(chǎng)景中我們碰到的問(wèn)題吧。
需要說(shuō)明的一點(diǎn)是,這里涉及到的權(quán)衡點(diǎn)非常的多。就我短短的工作經(jīng)驗(yàn)里面,也只是能夠簡(jiǎn)單的涉獵一部分,因?yàn)樵谑聞?wù)這個(gè)領(lǐng)域,目前大家都在嘗試提出各種各樣的不同的方法,而在
長(zhǎng)文
2011
11/26
海量存儲(chǔ)系列之四
單機(jī)事務(wù):
其實(shí)在上面介紹ACID的時(shí)候
我們已經(jīng)提到了一種最簡(jiǎn)單的實(shí)現(xiàn)方式,就是鎖的實(shí)現(xiàn)方式。
從原理來(lái)看,事務(wù)是個(gè)變態(tài)而復(fù)雜的事情。其實(shí)如果是序列化的話呢,那么實(shí)現(xiàn)起來(lái)一定是非常簡(jiǎn)單的。
但問(wèn)題就在于,這樣性能實(shí)在比較低,于是,就有了非常多的方案,為了能哪怕減少一個(gè)地方的鎖,
長(zhǎng)文
2011
11/26
海量存儲(chǔ)系列之三
上一篇 http://qing.weibo.com/1765738567/693f0847330005v7.html
首先是回答上次的問(wèn)題。
假設(shè)有這么一組數(shù)據(jù),性別有4種,user_id是一對(duì)多的關(guān)系,如果我想查詢
select * from tabwhere user_id in (?,?,?,?) and 性別='不明'
如何進(jìn)行索引構(gòu)建能夠獲得比較好的效果呢?
我個(gè)人認(rèn)為,應(yīng)該建立的是以u(píng)
長(zhǎng)文
2011
11/22
海量存儲(chǔ)系列之二
?http://qing.weibo.com/1765738567/693f0847330005sm.html 上一篇
在上一篇里面,我們對(duì)數(shù)據(jù)庫(kù)的抽象的組成原理進(jìn)行了簡(jiǎn)單的描述。在這一篇里面,我們一起來(lái)看看,如何能夠使用kv這樣的工具。來(lái)完成關(guān)系代數(shù)運(yùn)算。
那么,讓我們先來(lái)熱熱身:
這是一組數(shù)據(jù),以pk作為主鍵,user_id和Name是外key.
那么,如果我要運(yùn)行查詢:Select *
長(zhǎng)文
2011
11/20
海量存儲(chǔ)系列之一
?http://qing.weibo.com/1765738567/693f0847330005sk.html 海量存儲(chǔ)系列之序言
那么
在走進(jìn)海量存儲(chǔ)與檢索的世界之前,我們先看一看目前似乎覺(jué)得最落伍的數(shù)據(jù)庫(kù)系統(tǒng)。丑話先說(shuō)。。我也沒(méi)在這個(gè)領(lǐng)域沉浸幾年,所以其實(shí)里面很多的概念也是有可
能模糊的,所以在這里寫(xiě)出來(lái),一是希望我能把以前的積累再次重新的梳理一次,查缺補(bǔ)漏。二也是在這世界留下點(diǎn)記錄。
長(zhǎng)文
2011
11/20
海量存儲(chǔ)之序言
?今天玩微薄的時(shí)候有人問(wèn)我有沒(méi)有數(shù)據(jù)存儲(chǔ)的相關(guān)資料,我想了想。。雖然在這個(gè)領(lǐng)域內(nèi)也算有點(diǎn)積累,以前講課的ppt有200多頁(yè),但畢竟ppt的信息量有限。所以在這里將這個(gè)系列的部分內(nèi)容在這里進(jìn)行重新編排
主要將涉及到:
1. 數(shù)據(jù)庫(kù)原理 http://qing.weibo.com/1765738567/693f0847330005sm.html