2月2日，SDxCentral發(fā)布了2017下一代數(shù)據(jù)中心研究報(bào)告(2017 Next Gen Data Center Networking Report)。這份報(bào)告系統(tǒng)介紹了下一代數(shù)據(jù)中心網(wǎng)絡(luò)的發(fā)展趨勢(shì)、關(guān)鍵功能、典型案例、行業(yè)標(biāo)準(zhǔn)以及熱門產(chǎn)品。

以下為脫水閱讀，需要完整英文報(bào)告的，請(qǐng)點(diǎn)擊閱讀原文。

Simplification, Standardization and Modularity

數(shù)據(jù)中心運(yùn)營(yíng)者希望能夠刪減那些不必要的路由/交換功能，利用標(biāo)準(zhǔn)服務(wù)器提供網(wǎng)絡(luò)優(yōu)化，采用較少商用芯片數(shù)量構(gòu)建更為簡(jiǎn)單的網(wǎng)絡(luò)矩陣，同時(shí)將L4-L7的功能遷移到標(biāo)準(zhǔn)服務(wù)器上，這些需求，都與傳統(tǒng)廠商的理念背道而馳。

LinkedIn、Facebook、Microsoft、Google等巨頭已經(jīng)開啟模塊化數(shù)據(jù)中心Pod之路，每個(gè)Pod都包含了標(biāo)準(zhǔn)化的網(wǎng)絡(luò)架構(gòu)，大規(guī)模利用成本低廉的商品化交換機(jī)，芯片也切換到BCM、Marvell和一些新興芯片制造商(比如Barefoot、Cavium Xpliant和盛科)。

模塊化的節(jié)點(diǎn)更易部署和替換，也提升了橫向擴(kuò)展能力，隨著這種云服務(wù)商的帶動(dòng)，大型企業(yè)級(jí)市場(chǎng)也有這種趨勢(shì)。

Virtualization and Containers

在虛擬化和容器化盛行的時(shí)代，無論南北流量還是東西流量，都無法回避虛擬交換機(jī)的存在。人們希望虛擬交換機(jī)的支持，能像以前使用VLAN一樣簡(jiǎn)單。

復(fù)雜的疊加網(wǎng)絡(luò)環(huán)境造成各種標(biāo)簽混雜，比如來自與廣域網(wǎng)的MPLS鏈接很有可能就被ToR交換機(jī)給終結(jié)掉了。

Programmability

為滿足業(yè)務(wù)敏捷型和靈活性需求，網(wǎng)絡(luò)可編程能力必不可少。上層業(yè)務(wù)必須能夠?qū)崟r(shí)控制底層網(wǎng)絡(luò)，進(jìn)行編排和優(yōu)化。無論這些業(yè)務(wù)采用基于XML/JSON的RESTful接口，還是用P4編程或者Openflow協(xié)議控制，都需要網(wǎng)絡(luò)設(shè)備本身能夠“被集成”，與數(shù)據(jù)中心融為一體。

如今已經(jīng)有越來越多的企業(yè)級(jí)網(wǎng)絡(luò)產(chǎn)品可以被云管理平臺(tái)(比如Openstack、VMware vRealize suite、Cloudstack)集成部署。網(wǎng)絡(luò)被系統(tǒng)配置管理是大勢(shì)所趨，甚至這種響應(yīng)被要求是實(shí)時(shí)的。

Automation and DevOps/NetOps

可編程性讓網(wǎng)絡(luò)集成到編排系統(tǒng)成為可能，但是系統(tǒng)需要被部署、被監(jiān)控、被更新，并非一勞永逸。傳統(tǒng)情況下，網(wǎng)工最愛命令行CLIs，很多廠商提供過圖形配置界面，但是很少能廣泛應(yīng)用的，大量的設(shè)備還是被“命令行”管理著。

但是，DevOps正在對(duì)網(wǎng)絡(luò)行業(yè)產(chǎn)生影響，或者說我們需要NetOps來拯救?；谧詣?dòng)化配置工具(Ansible/Puppet/Chef等)，網(wǎng)工們也可以像管理服務(wù)器一樣去管理網(wǎng)絡(luò)基礎(chǔ)設(shè)施了。

Improved Visibility and Troubleshooting

跨數(shù)據(jù)中心流量暴增以及Overlays的存在，讓網(wǎng)絡(luò)可視化變得尤為重要?？梢暬欣碛诳焖俣ㄎ痪W(wǎng)絡(luò)延遲或者洞察流量突發(fā)。還需要具備對(duì)流量數(shù)據(jù)的收集和分析能力，用于排障、優(yōu)化和安全防范，如果只有海量告警事件日志，那就只能抓瞎了。

另外，由于數(shù)據(jù)中心網(wǎng)絡(luò)正在演進(jìn)為基于ECMP的leaf-spine三層Fabric，保障所有數(shù)據(jù)的可達(dá)性非常關(guān)鍵，不要讓“大象數(shù)據(jù)流”阻擋了“老鼠數(shù)據(jù)流”，“可視化”有助于讓我們了解整個(gè)交換矩陣發(fā)生了什么，甚至細(xì)化到每個(gè)交換機(jī)端口的緩存利用率。

Open Hardware Platforms

從成本和可配置性考慮，數(shù)據(jù)中心網(wǎng)絡(luò)運(yùn)營(yíng)者越來越關(guān)注白盒或者其他開放硬件平臺(tái)。有人相信，采用白盒，在硬件成本上可以節(jié)省30%-80%。由于這些白盒供應(yīng)商同時(shí)也為品牌交換機(jī)廠商提供OEM/ODM服務(wù)，所以產(chǎn)品品質(zhì)和可靠性不存在疑問。

時(shí)至今日，諸如EdgeCore等低成本白盒硬件供應(yīng)商值得考慮，但你需要找到成熟的軟件來支持。另外，像Dell、HPE和華為也提供白盒交換機(jī)，但是會(huì)提供他們自己的品牌軟件，這種模式被稱為“灰盒”(gray box)。

由純物理交換機(jī)/路由器組成，有主備或者雙A設(shè)計(jì)，以南北流量為主。

到了云時(shí)代，SDN和NFV參與進(jìn)來，數(shù)據(jù)中心網(wǎng)絡(luò)的邊界定義被擴(kuò)大，從服務(wù)器內(nèi)部的虛擬網(wǎng)絡(luò)到數(shù)據(jù)中心物理網(wǎng)絡(luò)，再到數(shù)據(jù)中心互聯(lián)網(wǎng)絡(luò)。

在這樣的數(shù)據(jù)中心里，四個(gè)關(guān)鍵組件必不可少：

• 虛擬交換機(jī)：滿足服務(wù)器內(nèi)部vm和容器的交換需求。

• 網(wǎng)絡(luò)加速卡：智能網(wǎng)卡或加速器提供vSwitch卸載、安全以及存儲(chǔ)加速

• ToR與Leaf/Spine：兩層Clos架構(gòu)再次得到推廣，架構(gòu)開放，擴(kuò)展性強(qiáng)。（雖然這種架構(gòu)早在1950年代就已經(jīng)在電話交換網(wǎng)中使用了），大量的商用套片和白盒被應(yīng)用在Leaf和Spine交換機(jī)中，降低成本，解決廠商鎖定。

• 數(shù)據(jù)中心互聯(lián)(DCI)：數(shù)據(jù)中心基于交換機(jī)就可以完成直連，DCI互聯(lián)模塊被直接集成到數(shù)據(jù)中心交換機(jī)上，比如100Gbps DWDM。L2 over L3的隧道技術(shù)也得到推廣應(yīng)用，還有我們不得不提的SDWAN。

Disaggregation and White box

解耦的意義包含兩層，第一層：控制平面與數(shù)據(jù)平面結(jié)構(gòu)，這是SDN的范疇；第二層：網(wǎng)絡(luò)硬件與軟件解耦，這是白盒和ONIE的范疇。

白盒交換機(jī)采用的商用套片通常來自于Broadcom(目前主流芯片如Trident II, Trident II , Tomahawk等等)，這類白盒基于ONIE標(biāo)準(zhǔn)提供一個(gè)交換機(jī)啟動(dòng)環(huán)境，最終用戶可以選擇安裝交換機(jī)OS，如 Big Switch的ONL、Apstra的Apstra OS、Cumulus Linux等等。

為保證網(wǎng)絡(luò)與數(shù)據(jù)中心集成和可編程性，這些OS還提供了相應(yīng)接口，包括OF-DPA (OpenFlow Data Plane Abstraction)、OpenNSL (Open Network Switch Layer) 以及 SAI (Switch Abstraction Interface)。前兩個(gè)接口標(biāo)準(zhǔn)主要綁定Broadcom，而SAI出身于OCP，支持多個(gè)廠商的芯片(Broadcom, Cavium, Mellanox, Centec、Barefoot)。

在交換機(jī)OS之上，還有諸多為交換機(jī)管理和轉(zhuǎn)發(fā)功能定制的“插件”，比如開源三層路由代碼Quagga和BIRD，以及Facebook出品的FBOSS、微軟Azure出品的SNOiC，開放的世界很精彩。

解耦的白盒陣營(yíng)與傳統(tǒng)的交換機(jī)貴族Cisco、Arista、Junper、Brocade還有很長(zhǎng)的博弈時(shí)間，但是我們看到，戴爾、HPE、華為已經(jīng)開始銷售開放網(wǎng)絡(luò)平臺(tái)（灰盒）。而新進(jìn)玩家Cumulus、EdgeCore、Pica8和其他ODM廠商也在努力推動(dòng)白盒產(chǎn)業(yè)。

在OCP的推動(dòng)下，新供應(yīng)商們正在給市場(chǎng)帶來更具性價(jià)比、更高性能的硬件產(chǎn)品，而開源團(tuán)體也會(huì)在軟件上持續(xù)努力，用廉價(jià)的開放產(chǎn)品去替代企業(yè)級(jí)市場(chǎng)那些高價(jià)貨！

Virtualization, Overlays and OpenStack

雖然Facebook聲明他們的業(yè)務(wù)并不需要Overlays和計(jì)算虛擬化，(他們的應(yīng)用被設(shè)計(jì)運(yùn)行的物理服務(wù)器上)，但是Amazon、Google和Microsoft卻是虛擬化和容器化的重度使用者。

在重度虛擬化應(yīng)用場(chǎng)景，vSwitch必須保持高性能（基于硬件加速、DPDK、FDiO VPP等等），同時(shí)還需要支持Overlay的終結(jié)，VXLAN應(yīng)該作為架頂交換機(jī)(ToR)的必選項(xiàng)：實(shí)現(xiàn)Overlays流量可視化、在VM和物理機(jī)混合接入環(huán)境下提供VTEP能力等等。

對(duì)于下一代數(shù)據(jù)中心網(wǎng)絡(luò)來說，另一個(gè)重要考量是支持以O(shè)penstack為代表的CMP(cloud management platform)平臺(tái)，提供部署、監(jiān)控、管理接口，對(duì)于企業(yè)級(jí)運(yùn)行環(huán)境，還應(yīng)該支持VM熱遷移的集成接口。

2-stage Leaf-spine Clos-Fabrics with ECMP and Pods

現(xiàn)代數(shù)據(jù)中心已經(jīng)從老式胖樹架構(gòu)進(jìn)化到兩級(jí)L3 Leaf-spine Clos矩陣，基于ECMP提供多路徑流量分擔(dān)。這種架構(gòu)拋棄了大型的機(jī)箱式核心交換機(jī)，用簡(jiǎn)單的Leaf-spine交換機(jī)實(shí)現(xiàn)部署低成本、高靈活。連老牌廠商Cisco、Juniper、Arista也開始擁抱Leaf-Spine，積極在企業(yè)級(jí)數(shù)據(jù)中心市場(chǎng)進(jìn)行鼓吹推廣。

而在全球最大的一些數(shù)據(jù)中心里面，Clos結(jié)構(gòu)的網(wǎng)絡(luò)被打包在“Pod”里面，通過橫向擴(kuò)展?jié)M足Pod巨量的連接需求(參見下文Facebook的Altoona數(shù)據(jù)中心)。

然而leaf-spine架構(gòu)也有不爽之處，首先Leaf和Spine之間需要大量的網(wǎng)絡(luò)連接，線纜維護(hù)復(fù)雜，替換和新增spine的時(shí)候，工作量是巨大的。其次，基于L3技術(shù)，VLAN受到Leaf交換機(jī)的限制，導(dǎo)致VM移動(dòng)性不佳，這就必須依賴VXLAN之類的Overlay技術(shù)去解決，會(huì)增大開銷。

由于Leaf和Spine之間的海量連接，要進(jìn)行監(jiān)控和排錯(cuò)很難，微軟在其Azure數(shù)據(jù)中心里，采用了一種全量ping測(cè)試，被稱為PingMesh。PingMesh本質(zhì)上講是一種強(qiáng)力的在所有端點(diǎn)之間運(yùn)行Ping測(cè)試的方式，可視化的去顯示任意兩個(gè)端點(diǎn)之間的連接狀況。

PingMesh已經(jīng)在微軟數(shù)據(jù)中心運(yùn)行多年，每天要產(chǎn)生超過兩千億次探測(cè)。

SDN, Policy and Intent

當(dāng)今數(shù)據(jù)中心網(wǎng)絡(luò)之復(fù)雜，僅靠人肉運(yùn)維是不可能的，SDN作為自動(dòng)化工具，流行起來順理成章。大型數(shù)據(jù)中心(如Goole和微軟)，無論內(nèi)部還是外部，都有各種形態(tài)的SDN存在，Goolge的 B4廣域網(wǎng)，就是SDN最典型的案例之一。

在以云計(jì)算為核心的生產(chǎn)環(huán)境中，傳統(tǒng)手工作坊式的網(wǎng)絡(luò)配置、參數(shù)修改如同杯水車薪，應(yīng)用需要基于CMP來自動(dòng)化部署系統(tǒng)、優(yōu)化參數(shù)，每個(gè)應(yīng)用都有不同的配置文件、需要特定的網(wǎng)絡(luò)支持以滿足時(shí)延、彈性等QoS要求。這些需求會(huì)被綁定成策略集，自動(dòng)化完成下發(fā)和部署。

Cisco ACI就是一個(gè)策略化(Policy-based)處理網(wǎng)絡(luò)的商用案例，同樣，OpenDaylight和ONOS等SDN控制器的目標(biāo)，也是在網(wǎng)絡(luò)部署中提供可編程策略。

基于策略分發(fā)，讓我們正在向“意圖型”網(wǎng)絡(luò)(intent-based networking)演進(jìn)：只需要“告訴我你想得到什么”，而不是“告訴我具體怎么做”，剩下的，交給SDN去干。

也許這就是智能網(wǎng)絡(luò)的未來狀態(tài)，讓你從繁復(fù)的具體配置工作中解脫出來！

Big Data and Analytics

下一代數(shù)據(jù)中心網(wǎng)絡(luò)的典型應(yīng)用場(chǎng)景是大數(shù)據(jù)分析，戲劇性的是，網(wǎng)絡(luò)生成的數(shù)據(jù)流本身就是一個(gè)大數(shù)據(jù)用例。很多廠商和組織抓取這些數(shù)據(jù)，用于優(yōu)化和潛在安全分析，初創(chuàng)公司Pluribus和Big Switch都在兜售他們的數(shù)據(jù)監(jiān)控能力，而Cisco則推出了Tetration平臺(tái)用于網(wǎng)絡(luò)數(shù)據(jù)分析。

 A 6-Pack of Wedge, Firehose, Watchtower, Pluto, Saturn, Jupiter, Altair, Olympus and more

引領(lǐng)數(shù)據(jù)中心變革的，是那些別無選擇只能追求持續(xù)創(chuàng)新的互聯(lián)網(wǎng)企業(yè)，F(xiàn)acebook、Google、微軟、領(lǐng)英都在不斷努力，他們內(nèi)部的數(shù)據(jù)中心團(tuán)隊(duì)驅(qū)動(dòng)著從架構(gòu)、軟件、硬件全方位演進(jìn)。

• Google

Google的數(shù)據(jù)中心已經(jīng)進(jìn)化到第5代，從設(shè)計(jì)了卻沒用的“Firehose”，到“Watchtower”，再到 'Pluto' 和'Saturn'，直到今天使用的 'Jupiter'，最新保密設(shè)計(jì)并未對(duì)外公開。Google希望實(shí)現(xiàn)一個(gè)完整的內(nèi)置網(wǎng)絡(luò)的云基礎(chǔ)設(shè)施，作為一個(gè)單元來設(shè)計(jì)。其目標(biāo)是打造超過10000臺(tái)Server的超級(jí)集群，將資源利用率發(fā)揮到極致。

• LinkedIn

LinkedIn的網(wǎng)絡(luò)團(tuán)隊(duì)對(duì)自己的Altair項(xiàng)目和Falco項(xiàng)目非常自豪。Falco項(xiàng)目其實(shí)是基于BCM Tomahawk芯片打造的交換機(jī)，該交換機(jī)被命名為“鴿子”，提供3.2Tbps交換能力，可以作為L(zhǎng)eaf或者Spine使用?！傍澴印边\(yùn)行基于Linux的軟件系統(tǒng)，并集成了一大宗監(jiān)控和管理工具。Altair項(xiàng)目則是一個(gè)大規(guī)?？缮炜s的數(shù)據(jù)中心網(wǎng)絡(luò)Fabric，用于替換傳統(tǒng)網(wǎng)絡(luò)。

• Facebook

Facebook是開放計(jì)算硬件的領(lǐng)導(dǎo)者，他們發(fā)起了的OCP，并貢獻(xiàn)了Wedge和6-pack。

Wedge是一款ToR交換機(jī)，有40G和100G兩種規(guī)格，全部貢獻(xiàn)給了OCP項(xiàng)目，并且目前兩款硬件都可以從第三方供應(yīng)商EdgeCore買到。

6-pack是Facebook發(fā)布的開放式模塊化交換機(jī)平臺(tái)，它以Wedge為基本構(gòu)件，是一個(gè)全網(wǎng)狀且無阻斷的兩級(jí)（two-stage）交換機(jī)，內(nèi)含12個(gè)獨(dú)立的交換組件，每個(gè)組件的交換容量為1.28Tbps。每個(gè)組件也運(yùn)行自己的操作系統(tǒng)，從交換、主板控制，到冷卻系統(tǒng)都是獨(dú)立的。這代表用戶能夠在不影響整體系統(tǒng)或軟/硬件的前提下更改系統(tǒng)的任何部份，并藉由獨(dú)特的雙背板解決方案來打造無阻斷的拓?fù)浣Y(jié)構(gòu)。

在數(shù)據(jù)中心層面，F(xiàn)acebook設(shè)計(jì)了Pod級(jí)別的模塊——Altoona。Altoona設(shè)計(jì)可借鑒之處在于，你可以使用小型開放交換機(jī)構(gòu)建你的數(shù)據(jù)中心，這個(gè)架構(gòu)可以讓你擴(kuò)展到任何規(guī)模，而不需要改變基本構(gòu)建塊。

• Microsoft Azure

微軟Azure的網(wǎng)絡(luò)廣泛使用了SDN技術(shù)，每個(gè)Azure節(jié)點(diǎn)都是用了基于FPGA的網(wǎng)絡(luò)加速卡——Azure Smart NIC，用來加速流處理、存儲(chǔ)進(jìn)程、QoS以及加解密。Azure使用SDN控制每塊加速卡上的流表和規(guī)則，保障Azure節(jié)點(diǎn)的高性能吞吐。

微軟同時(shí)也在云交換機(jī)領(lǐng)域也在驅(qū)動(dòng)創(chuàng)新，是SAI和SONiC(Software for Open Networking in the Cloud)的應(yīng)用先鋒。SONiC是一個(gè)網(wǎng)絡(luò)軟件組件集合，包含了交換機(jī)常備的BGP、ECMP、LLDP等功能，得到了大量硬件供應(yīng)商的支持，這里面包括了Arista(微軟是A公司最大的客戶之一)、BigSwitch、Dell、Mellanox，以及芯片廠商BCM、Cavium和盛科。

Linux Foundation and its associated projects

項(xiàng)目很多，就不一一詳述了，統(tǒng)一列在這里

Open Compute Project (OCP) and Telecom Infra Project (TIP)

下一代數(shù)據(jù)中心網(wǎng)絡(luò)最主要的推動(dòng)者就是OCP，該項(xiàng)目由Facebook發(fā)起，目前獲得了業(yè)內(nèi)廣泛的支持。從互聯(lián)網(wǎng)巨頭LinkedIn、 Microsoft、Google，到運(yùn)營(yíng)商AT&T、Fidelity和DT 再到設(shè)備商Cisco、Dell,、Huawei、HPE、Intel、 Ericsson等等。下圖為OCP白金會(huì)員列表。

OCP是數(shù)據(jù)中心關(guān)鍵硬件方案之家，包括高密度機(jī)架(Open Rack)、服務(wù)器(Microsoft  OpenCloudServer和Facebook Yosemite)、網(wǎng)絡(luò)平臺(tái)(Wedge 40 100 6-pack)。OCP還是ONIE、ONL、SAI、SONiC這些核心網(wǎng)絡(luò)軟件項(xiàng)目的老巢。

作為OCP的補(bǔ)充，F(xiàn)acebook在2016年又成立了TIP項(xiàng)目(Telecom Infra Project)，推動(dòng)運(yùn)營(yíng)商基礎(chǔ)設(shè)施的變革和演進(jìn)，替換傳統(tǒng)網(wǎng)絡(luò)架構(gòu)。TIP的成員包括Intel、Nokia、德電、SK電信、沃達(dá)豐、 T-Mobile以及思科Juniper等。

最后這部分我認(rèn)為是SDxCentral為其贊助商提供的廣告展示區(qū)，簡(jiǎn)單羅列一下——