百度Hadoop分布式系統(tǒng)揭秘：4000節(jié)點(diǎn)集群

在 NoSQL 方面，之前了解到百度對(duì) Hadoop 和 hypertable 都有研究，而且 hypertable 方面更是作為其主要贊助商之一，但之前和百度的一些朋友了解到百度內(nèi)部對(duì) hypertable 倒是使用不多，相反在 Hadoop 方面倒是有比較大的應(yīng)用實(shí)例。下面一篇文章描述了百度內(nèi)部4000個(gè)結(jié)點(diǎn)的 Hadoop 集群的一些技術(shù)細(xì)節(jié)。

百度的高性能計(jì)算系統(tǒng)(主要是后端數(shù)據(jù)訓(xùn)練和計(jì)算)目前有4000節(jié)點(diǎn)，超過(guò)10個(gè)的集群，最大的集群規(guī)模在1000個(gè)節(jié)點(diǎn)以上。每個(gè)節(jié)點(diǎn)由8核 CPU以及16G內(nèi)存以及12TB硬盤(pán)組成，每天的數(shù)據(jù)生成量在3PB以上。規(guī)劃當(dāng)中的架構(gòu)將有超過(guò)1萬(wàn)個(gè)節(jié)點(diǎn)，每天的數(shù)據(jù)生成量在10PB以上。

底層的計(jì)算資源管理層采用了Agent調(diào)度不同類(lèi)型的計(jì)算分別給MPI結(jié)構(gòu)的算法和Map-Reduce和DAG算法應(yīng)用等。而通過(guò)調(diào)度的分配，可以讓HPC高性能計(jì)算集群和大規(guī)模分布式集群各得其所的計(jì)算相應(yīng)數(shù)據(jù)。

百度通過(guò)HCE對(duì)streaming作業(yè)的排序，壓縮，解壓縮，內(nèi)存控制進(jìn)行了優(yōu)化并提供了C++版的MapReduce接口。

百度HCE語(yǔ)言的有關(guān)內(nèi)容，HCE是基于C++的Hadoop環(huán)境，是一個(gè)全功能C++環(huán)境，可以避開(kāi)Java語(yǔ)言對(duì)于釋放內(nèi)存和資源申請(qǐng)的弊端，并在調(diào)用數(shù)據(jù)時(shí)繞開(kāi)Java語(yǔ)言的所有關(guān)節(jié)，極大的提升算法效率。

百度的調(diào)度器是在capacity-scheduler的基礎(chǔ)上根據(jù)自身業(yè)務(wù)改進(jìn)的。

百度計(jì)劃對(duì)shuffle流程進(jìn)行大幅改造

來(lái)源：http://www.cnblogs.com/chinacloud/archive/2010/11/08/1871592.html