2013年10月，我在杭州參加阿里云開發(fā)者大會(huì)（AWDC）時(shí)參觀了阿里與華通云數(shù)據(jù)（華數(shù)）合作的轉(zhuǎn)塘數(shù)據(jù)中心，當(dāng)時(shí)雙方合作的千島湖數(shù)據(jù)中心已開始建設(shè)。

2015年9月8日，也就是昨天，阿里巴巴千島湖數(shù)據(jù)中心啟用儀式在千島湖畔的珍珠半島舉行。儀式歸儀式，千島湖數(shù)據(jù)中心已投產(chǎn)三個(gè)月以上（數(shù)據(jù)中心一層大堂顯示屏上的安全生產(chǎn)時(shí)間超過3100小時(shí)，算來應(yīng)為四個(gè)月有余），有些運(yùn)營(yíng)商合作伙伴在閱兵前就參觀過了。

遠(yuǎn)眺阿里巴巴千島湖數(shù)據(jù)中心，華數(shù)的標(biāo)志仍很醒目（拍攝：張廣彬）

但是我和參加儀式的很多“外地人”一樣，還沒有來過??！況且，阿里數(shù)據(jù)中心團(tuán)隊(duì)的精英盡出，曲海峰、陳炎昌、韓玉、劉水旺等新老朋友也不同程度的參與著阿里張北數(shù)據(jù)中心的建設(shè)，小敘一番，獲益匪淺。

阿里巴巴為此次啟用儀式發(fā)布了官方新聞，“阿里技術(shù)保障”公眾號(hào)也第一時(shí)間放出了一組數(shù)據(jù)中心的美圖。但是，對(duì)于希望了解所謂“細(xì)節(jié)”的人來說，官方新聞通常是引發(fā)疑問，而非答疑解惑的。以下，將順著官方材料的脈絡(luò)，通過我在現(xiàn)場(chǎng)的見聞加以解讀，當(dāng)然也少不了隨興的發(fā)揮和一些“小道消息”，僅供大家參考，本人和文中提到及未提到的任何人均不對(duì)此負(fù)責(zé)……

注：引號(hào)內(nèi)的段落是引用的官方新聞，加下劃線的部分系強(qiáng)調(diào)重點(diǎn)。根據(jù)技術(shù)表達(dá)的需要，引用時(shí)對(duì)原文的部分段落進(jìn)行了重組，有些為表達(dá)完整而不便刪去的宣傳用語，不代表本人觀點(diǎn)，請(qǐng)大家自動(dòng)忽略。另，未注明出處的圖片，均來自阿里巴巴官方提供。

1“深挖”數(shù)據(jù)中心

沒錯(cuò)，“湖水制冷”是千島湖數(shù)據(jù)中心的核心賣點(diǎn)?！吧顚雍庇卸嗌钅?？作為千島湖數(shù)據(jù)中心的建設(shè)方，華數(shù)投入的資源主要是管道建設(shè)權(quán)，原定管道深度為25米左右，阿里出資下移至35米以下。據(jù)稱，每深挖一米，成本要增加百萬元，所以阿里在這上面的投資就達(dá)千萬元。

下移10米的收益是水溫下降2度，按照華數(shù)官網(wǎng)上的說法，“千島湖數(shù)據(jù)中心利用水源熱泵空調(diào)系統(tǒng)實(shí)現(xiàn)制冷，采用千島湖35米以下恒溫（10.82℃）的冷水進(jìn)行機(jī)房制冷，”而參觀數(shù)據(jù)中心時(shí)，解說人員的說法是進(jìn)水13-17℃，回水約17-20℃，視氣候與環(huán)溫而定。

為了確定合適的管道深度，阿里方面聘請(qǐng)了浙江省的潛水專家，從2013年三四月份開始，進(jìn)行了約8個(gè)月的水下勘測(cè)，到10月份數(shù)據(jù)中心土建開始時(shí)還在同步進(jìn)行。

我們知道，千島湖實(shí)際上是新安江水庫(kù)，最深處達(dá)百余米，水溫可以低至4度左右。但是，取冷卻水不是越低越好，除了前面所說的挖掘成本，湖底的雜質(zhì)也會(huì)比較多，將大大增加過濾環(huán)節(jié)的負(fù)擔(dān)。

昨天中午參觀時(shí)，大堂顯示屏上的PUE指標(biāo)為1.27x，略低于1.28。我們知道，百度在北京、騰訊在天津的數(shù)據(jù)中心，PUE指標(biāo)也不遜色，但北京和天津地處北方，自然（空氣）冷卻時(shí)間要長(zhǎng)得多。千島湖數(shù)據(jù)中心“深挖”水的潛力，使得自然（水）冷卻時(shí)間可占全年的90%，紅果果的開了“外掛”，只有在少數(shù)氣溫很高的天氣里，才需要切換到蓄冷罐。

Google很早就在數(shù)據(jù)中心里嘗試了海水冷卻，但是要經(jīng)過換熱器，以避免海水的腐蝕作用。千島湖數(shù)據(jù)中心如果增加換熱器的中間環(huán)節(jié)，冷卻水溫會(huì)上升兩度，等于抵消了深挖的效果。為了將PUE從1.33壓低至1.28，阿里采用了直接引入湖水冷卻的方法，以過濾和沉降對(duì)抗水中的雜質(zhì)。以防萬一，冷卻水系統(tǒng)采用全備的方式，并能承受數(shù)據(jù)中心生命周期內(nèi)更換一次的潛在開銷。

數(shù)據(jù)中心樓前，2臺(tái)相鄰的湖水處理器之1（拍攝：張廣彬）

同時(shí)，WUE的運(yùn)行指標(biāo)顯示為0，即沒有水分的消耗。這不難理解，在完全采用自然水冷卻的時(shí)候，湖水在數(shù)據(jù)中心的封閉管道內(nèi)流動(dòng)，理論上不會(huì)有蒸發(fā)的損失。至于流經(jīng)中軸溪時(shí)，暴露在外且溫度略高的回水，肯定會(huì)有蒸發(fā)，但不計(jì)入數(shù)據(jù)中心的WUE。一定程度上，采用自然風(fēng)冷的數(shù)據(jù)中心，向外界排放的空氣溫度也會(huì)略高，對(duì)環(huán)境的影響是不可避免的。

不過，千島湖畢竟不是Oregon州Prineville的沙漠（Facebook第一個(gè)數(shù)據(jù)中心所在地），其自然景觀和生態(tài)環(huán)境需要保護(hù)（談到環(huán)保，似乎怎么說都容易政治不正確），水溫的上升多少會(huì)帶來不利影響。另外，朋友圈中有人質(zhì)疑，每月的柴油發(fā)電機(jī)組演習(xí)，也會(huì)對(duì)環(huán)境造成污染。

千島湖數(shù)據(jù)中心能容納約5萬臺(tái)服務(wù)器（下文會(huì)有分析），總供電能力可達(dá)30MW。一路市電，一路高壓直流，外部電力供應(yīng)中斷時(shí)，可以用柴油發(fā)電機(jī)供電，兩個(gè)30噸的油罐可以維持?jǐn)?shù)據(jù)中心運(yùn)行8小時(shí)。千島湖數(shù)據(jù)中心采用卡特彼勒（Caterpillar，CAT）的柴油發(fā)電機(jī)（不是挖掘機(jī):P），符合歐Ⅳ標(biāo)準(zhǔn)，也會(huì)采用尿素等手段處理尾氣，滿足排放要求。據(jù)稱，發(fā)電機(jī)組演習(xí)雖然每月都有，但柴油機(jī)帶油演練的頻率相對(duì)較低，可能會(huì)以三個(gè)月或半年為周期，以控制排放。

據(jù)公眾號(hào)“阿里技術(shù)保障”的文章描述，千島湖數(shù)據(jù)中心“占地面積3173.75㎡”，有朋友特意問我是不是寫錯(cuò)了（雖然不是我寫的）。在現(xiàn)場(chǎng)一看就清楚了——這是一棟11層的建筑，以占地面積3000多平米來算，華數(shù)官網(wǎng)上寫的“機(jī)房面積26000平米”并不難達(dá)到。

在大型數(shù)據(jù)中心建筑里，11層還是蠻高的（拍攝：張廣彬）

印象中，地處杭州市郊的轉(zhuǎn)塘數(shù)據(jù)中心，也不過是六層的建筑，外觀上還是偏“橫向擴(kuò)展”，不像千島湖數(shù)據(jù)中心這般“縱向擴(kuò)展”。主要原因還是容積率的要求，因?yàn)榍u湖是水庫(kù)圍出來的，所以對(duì)土地利用的要求較高。

樓頂?shù)墓夥柲馨逵姓掌?，我沒有親見。服務(wù)器余熱回收，在需要暖氣的季節(jié)無疑很有誘惑力，但平時(shí)呢？看來還是偏概念一些。

2整機(jī)柜與微模塊

微模塊和整機(jī)柜，我親眼所見的部分相對(duì)較多，就不對(duì)照著新聞稿解讀了，盡可能的用圖說話——進(jìn)數(shù)據(jù)中心之前，手機(jī)的前后攝像頭和閃光燈都被工作人員貼住了，只能以官方供圖為主，輔以我平時(shí)搜集的存貨。

數(shù)據(jù)中心微模塊采用阿里的整機(jī)柜（AliRack），新聞稿中說“千島湖數(shù)據(jù)中心采用了最新的2.0版本”，根據(jù)我在7月底召開的2015年可信云服務(wù)大會(huì)上的觀察，在具體節(jié)點(diǎn)設(shè)計(jì)等方面比一年前的AliRack 2.0有所改進(jìn)，總體上還都是符合天蝎2.0標(biāo)準(zhǔn)的產(chǎn)品。

數(shù)據(jù)中心微模塊熱通道內(nèi)的照片，官方提供，美得有點(diǎn)兒不真實(shí)，但卻符合實(shí)際情況——每個(gè)整機(jī)柜有6行風(fēng)扇，天蝎2.0規(guī)格每行風(fēng)扇（3個(gè)140×38mm并排）對(duì)應(yīng)4U高度，也就是最多可以放置24臺(tái)1U節(jié)點(diǎn)

目光所及的整機(jī)柜，服務(wù)器節(jié)點(diǎn)被中間的供電框分為上下兩部分，上面11個(gè)（天蝎的節(jié)點(diǎn)目前都是1U高度），下面我看著也是11個(gè)，但后來阿里的同學(xué)糾正說是12個(gè)。也就是說，每機(jī)柜23個(gè)1U的計(jì)算與存儲(chǔ)均衡型節(jié)點(diǎn)，這應(yīng)該是受每機(jī)柜8KW供電能力的限制。如果再增加服務(wù)器，會(huì)對(duì)地板承重、供電容量、散熱能力等構(gòu)成全面的挑戰(zhàn)，這個(gè)突破要看在建中的張北數(shù)據(jù)中心了。

2015年可信云服務(wù)大會(huì)上展出的AliRack（局部），下部為集中PSU的供電框，上面4個(gè)一樣的1U節(jié)點(diǎn)為計(jì)算存儲(chǔ)均衡型，右側(cè)的硬盤可單獨(dú)抽出維護(hù)。當(dāng)時(shí)缺乏遠(yuǎn)見，沒有整體拉出來，拍個(gè)合影（拍攝：張廣彬）

與常見的天蝎整機(jī)柜不同，交換機(jī)沒有安裝于機(jī)柜內(nèi)部（嚴(yán)格說來，不算ToR），而是安裝于機(jī)柜上方接近3米的高度。這樣做的好處是交換機(jī)的配置相對(duì)獨(dú)立于機(jī)柜（畢竟機(jī)柜沒有裝滿），加入一個(gè)機(jī)柜不一定引發(fā)網(wǎng)絡(luò)變更。但從長(zhǎng)遠(yuǎn)來說，以整機(jī)柜為單位增減，還是發(fā)展方向。（關(guān)于天蝎整機(jī)柜的詳細(xì)介紹，可參見企事錄之前的專題文章）

AliRack用的計(jì)算存儲(chǔ)均衡型節(jié)點(diǎn)，1U高度，左側(cè)為雙路至強(qiáng)E5系列CPU及內(nèi)存，右側(cè)三分之二寬度內(nèi)塞滿堪比2U服務(wù)器前面板容量的12個(gè)3.5英寸硬盤，并可單獨(dú)拉出維護(hù)，體現(xiàn)了天蝎2.0整機(jī)柜21英寸內(nèi)寬和深度挖潛的效果（拍攝：張廣彬）

服務(wù)器普遍采用萬兆接入，使用連接距離更長(zhǎng)、線纜更細(xì)而軟（便于布線，重量輕）且保留了DAC（Direct Attach Cable）低成本優(yōu)點(diǎn)的AOC（Active Optical Cable）。有小道消息稱，阿里近幾個(gè)季度招標(biāo)采購(gòu)AOC線纜以十萬計(jì)，不知有多少是為張北數(shù)據(jù)中心準(zhǔn)備的。

AliRack前端網(wǎng)絡(luò)接入特寫，右側(cè)較粗的是千兆銅線接管理口，左側(cè)較細(xì)的是萬兆AOC

每個(gè)數(shù)據(jù)中心微模塊包括16個(gè)整機(jī)柜，每?jī)蓚€(gè)整機(jī)柜之間裝有行間空調(diào)。與騰訊微模塊數(shù)據(jù)中心不同，阿里的數(shù)據(jù)中心微模塊采用熱通道封閉的設(shè)計(jì)，這也是Google、Facebook、百度等國(guó)內(nèi)外互聯(lián)網(wǎng)公司普遍采用的方式——如果不局限于“微模塊”概念的話。具體優(yōu)劣，容后再議。

整機(jī)柜在千島湖數(shù)據(jù)中心所占比例不高，基本只有11層的部分。其他樓層仍大量采用2U規(guī)格的傳統(tǒng)機(jī)架式服務(wù)器，每個(gè)機(jī)架約2.5米高，安裝22臺(tái)（2U）服務(wù)器——驚鴻一瞥間，看到的型號(hào)有聯(lián)想ThinkServer RD640和惠普ProLiant DL380e，都是前面板配滿12個(gè)3.5英寸硬盤的（2U）機(jī)型，從硬盤和CPU數(shù)量來看，與1U的計(jì)算存儲(chǔ)均衡型天蝎2.0服務(wù)器節(jié)點(diǎn)相當(dāng)，也可看出天蝎整機(jī)柜在密度上的優(yōu)勢(shì)（放不滿的話，實(shí)際效果還是要打折扣）。換言之，單臺(tái)1U天蝎2.0服務(wù)器節(jié)點(diǎn)與2U傳統(tǒng)機(jī)架式服務(wù)器，功耗上也是差不多的，所以，不論是否整機(jī)柜服務(wù)器，每個(gè)機(jī)柜的服務(wù)器數(shù)量都在22-23臺(tái)，顯然是受限于每機(jī)柜8KW的供電能力。

IT模塊采用相對(duì)傳統(tǒng)的冷通道封閉設(shè)計(jì)，服務(wù)器數(shù)量也可見其寫實(shí)性。晚上睡不著的時(shí)候可以數(shù)數(shù)看，是不是22個(gè)2U……如果發(fā)現(xiàn)我“又”數(shù)錯(cuò)了，請(qǐng)告訴我

華數(shù)官網(wǎng)上宣稱千島湖數(shù)據(jù)中心“規(guī)劃?rùn)C(jī)柜3500個(gè)”，從我了解到的情況看，有2500個(gè)8KW的機(jī)柜，其他一些不到5KW的機(jī)柜用于存儲(chǔ)等應(yīng)用。因此，整個(gè)數(shù)據(jù)中心的容量不少于5萬臺(tái)（2500×22），考慮到PUE的因素，需要的供電容量約30MW。

至于傳說中的AliFlash，我沒有見到實(shí)物，不知道是與哪家PCIe SSD供應(yīng)商合作的產(chǎn)品。有知情者不妨大聲說出來，我不能保證你的人身安全……

北京企事錄技術(shù)服務(wù)公司

專注于企業(yè)級(jí)產(chǎn)品、技術(shù)的傳播推廣，加速促進(jìn)新產(chǎn)品、新解決方案的落地實(shí)施。企事錄公眾號(hào)為您分析介紹企業(yè)IT、互聯(lián)網(wǎng)基礎(chǔ)設(shè)施及架構(gòu)方面值得關(guān)注的技術(shù)趨勢(shì)，歡迎大家關(guān)注！