導(dǎo)讀：1月15日，首屆OCP中國(guó)技術(shù)研討會(huì)在深圳召開(kāi)，本次會(huì)議是由騰訊云和OCP國(guó)際社區(qū)合辦。在大會(huì)現(xiàn)場(chǎng)，騰訊專家工程師楊曉穎在OCP技術(shù)研討會(huì)上發(fā)表名為《騰訊云DCOS技術(shù)分享》的演講，以下為演講全文。楊曉穎，中山大學(xué)碩士研究生，騰訊服務(wù)器管控架構(gòu)師。主要負(fù)責(zé)騰訊服務(wù)器自動(dòng)化運(yùn)營(yíng)平臺(tái)、私有云基礎(chǔ)設(shè)施監(jiān)管控方案。

本次分享大綱

1. DCOS概念&優(yōu)勢(shì)

2. DCOS解決方案簡(jiǎn)介

3. DCOS各模塊揭秘

4. DCOS項(xiàng)目應(yīng)用&開(kāi)放計(jì)劃

大家好，很高興有機(jī)會(huì)跟大家一起探討和學(xué)習(xí)，今天我分享的主題是DCOS項(xiàng)目。

DCOS概念&優(yōu)勢(shì)

1.DCOS概念

DCOS，全稱Data Center Operating System，它致力于打造私有云基礎(chǔ)物理設(shè)施的管理引擎，提供的服務(wù)包括服務(wù)器和網(wǎng)絡(luò)設(shè)備監(jiān)管控、配置管理和告警管理。

2.DCOS優(yōu)勢(shì)

DCOS功能相對(duì)全面，它實(shí)際上得益于騰訊多年基礎(chǔ)設(shè)施的運(yùn)營(yíng)經(jīng)驗(yàn)。騰訊有著百萬(wàn)量級(jí)服務(wù)器，數(shù)以萬(wàn)計(jì)的網(wǎng)絡(luò)設(shè)備，龐大而復(fù)雜的業(yè)務(wù)生態(tài)圈，積累了大量寶貴的運(yùn)營(yíng)經(jīng)驗(yàn)，另外我們也考慮到私有云環(huán)境的不確定性，如用戶使用的設(shè)備類型、用戶實(shí)際業(yè)務(wù)需求等，這些都是不可預(yù)估的，所以DCOS在融合騰訊優(yōu)秀運(yùn)營(yíng)經(jīng)驗(yàn)的同時(shí)，也著重提升了自定義能力。

在架構(gòu)上，DCOS采用模塊化和分層式設(shè)計(jì)，按功能劃分模塊，用戶可根據(jù)自身需要選擇安裝。分層式設(shè)計(jì)支持集中式和分布式部署:集中式部署簡(jiǎn)單，一臺(tái)機(jī)器可實(shí)現(xiàn)全網(wǎng)控制；分布式相對(duì)靈活，可適配復(fù)雜的網(wǎng)絡(luò)環(huán)境。另外，DCOS提供了大量的開(kāi)放API，可供用戶進(jìn)行二次開(kāi)發(fā)，打造自己的運(yùn)營(yíng)系統(tǒng)。

DCOS解決方案

1.DCOS在私有云的角色

DCOS在私有云管理中扮演什么樣的角色呢？它主要提供四大類別服務(wù)：CMDB（配置管理）、BME（物理裸機(jī)管理）、OneMonitor（監(jiān)控）、OneAlert（告警）。它一定程度上填補(bǔ)了云解決方案如OpenStack在服務(wù)器和網(wǎng)絡(luò)設(shè)備監(jiān)管控這一塊的空白。云其它OSS系統(tǒng)和用戶自有系統(tǒng)，通過(guò)DCOS API與其交互，共同構(gòu)建整個(gè)管控平臺(tái)。

2、DCOS功能列表

接下來(lái)我們看一下DCOS在這四大類別服務(wù)中提供了哪些具體的功能。

最左邊是配置管理系統(tǒng)CMDB，它負(fù)責(zé)管理基礎(chǔ)設(shè)施的物理信息，這是我們進(jìn)行一些基礎(chǔ)設(shè)施生命管理的第一步，用戶把數(shù)據(jù)導(dǎo)入CMDB，成為其它模塊數(shù)據(jù)來(lái)源。

我們?cè)跇I(yè)務(wù)上線之前，需要對(duì)服務(wù)器進(jìn)行系統(tǒng)安裝，所以我們開(kāi)發(fā)了第二個(gè)模塊，即帶外部署模塊，提供了服務(wù)器帶外操作（如開(kāi)關(guān)機(jī)等電源操作），OS安裝（包括PXE安裝和快速重裝），以及帶外密碼庫(kù)管理。

使用這個(gè)模塊把服務(wù)器部署好之后，在運(yùn)營(yíng)過(guò)程中我們可能需要對(duì)OS進(jìn)行變更或者業(yè)務(wù)系統(tǒng)發(fā)布，所以我們推出了第三個(gè)模塊，即服務(wù)器管控模塊，它支持對(duì)服務(wù)器進(jìn)行遠(yuǎn)程控制，如文件傳輸、腳本的執(zhí)行等。

另外，在運(yùn)營(yíng)過(guò)程中我們可能還會(huì)關(guān)注服務(wù)器的運(yùn)作情況，有沒(méi)有故障等，所以我們又有了服務(wù)器的監(jiān)控模塊。這個(gè)模塊會(huì)采集OS基礎(chǔ)數(shù)據(jù)，包括OS狀態(tài)、性能等，還會(huì)監(jiān)控業(yè)務(wù)應(yīng)用的進(jìn)程和端口。同時(shí)，我們還加入了對(duì)硬件的監(jiān)控，這可以幫助用戶更全面地了解機(jī)器運(yùn)作。

除了關(guān)注服務(wù)器故障，我們還會(huì)關(guān)注網(wǎng)絡(luò)設(shè)備的狀態(tài)，第五個(gè)模塊就是關(guān)于網(wǎng)絡(luò)設(shè)備的采集監(jiān)控。網(wǎng)絡(luò)設(shè)備監(jiān)控包括SNMP流量采集、日志收集、會(huì)話流量、網(wǎng)絡(luò)質(zhì)量探測(cè)等。

最后一個(gè)是告警模塊，負(fù)責(zé)告警策略的配置，以及告警管理，如告警判斷、去重、屏蔽等。

DCOS各模塊揭秘

接下來(lái)我們逐個(gè)了解一下各個(gè)模塊到底是什么樣子的。

1.CMDB（配置管理）

剛剛提到CMDB存儲(chǔ)的是所有基礎(chǔ)設(shè)施的物理信息。它源自于騰訊多年IDC運(yùn)營(yíng)經(jīng)驗(yàn)，抽象了多個(gè)管理對(duì)象，包括IDC專線/出口、網(wǎng)絡(luò)設(shè)備、服務(wù)器、IDC機(jī)架機(jī)位以及IP資源等。我們能夠管理這些物理對(duì)象的基本信息，以及它們的關(guān)聯(lián)關(guān)系。同時(shí)我們還提供了諸如服務(wù)器硬盤(pán)等部件數(shù)據(jù)，以及網(wǎng)絡(luò)設(shè)備的端口信息，通過(guò)這些數(shù)據(jù)，我們可以繪制物理拓?fù)浣Y(jié)構(gòu)。這是整個(gè)設(shè)施生命周期管理的第一步。

2.服務(wù)器管理

第二個(gè)是服務(wù)器的管理，它也是借鑒了騰訊內(nèi)部成百上千種機(jī)型的部署經(jīng)驗(yàn)以及海量服務(wù)器的管控經(jīng)驗(yàn)。我們實(shí)現(xiàn)了對(duì)服務(wù)器資源的自動(dòng)發(fā)現(xiàn)，帶外管理、OS部署還有遠(yuǎn)程控制。

機(jī)器在上電之后，我們通過(guò)DHCP服務(wù)給它分配帶外IP，借此實(shí)現(xiàn)了資源的自動(dòng)發(fā)現(xiàn)，進(jìn)而掌管它的帶外，之后我們可以通過(guò)PXE方式對(duì)機(jī)器進(jìn)行OS安裝。除此之外，我們的部署模塊還支持快速重裝。當(dāng)然了，因?yàn)槲覀儾豢赡茴A(yù)估到用戶的業(yè)務(wù)是什么樣的形態(tài)，所以我們開(kāi)放了很多自定義的能力，比如自定義OS安裝，自定義RAID組合，還有自定義分區(qū)，部署后定制化操作等。最右邊的是遠(yuǎn)程控制模塊，它主要是提供穩(wěn)定高效的文件傳輸和腳本執(zhí)行通道，用戶可以基于這個(gè)模塊去開(kāi)發(fā)自己的作業(yè)平臺(tái)。

3.服務(wù)器監(jiān)控

接下來(lái)我們看看怎么去監(jiān)控服務(wù)器，我們的監(jiān)控模塊到底有哪些功能。它包含了軟件和硬件的采集和監(jiān)控，以及第三方組件的監(jiān)控，當(dāng)然還提供了通道給用戶上報(bào)自己采集的監(jiān)控?cái)?shù)據(jù)。

在OS基礎(chǔ)監(jiān)控這塊，我們采集了CPU利用率、內(nèi)存使用量、磁盤(pán)IO、網(wǎng)卡的狀態(tài)等。在硬件這塊，我們采集了諸如電源、風(fēng)扇、硬盤(pán)、RAID卡等的配置信息，同時(shí)會(huì)生成告警，比如內(nèi)存缺失、風(fēng)扇缺失、電源異常、硬盤(pán)故障等。除此之外，對(duì)于業(yè)務(wù)應(yīng)用，我們提供了進(jìn)程端口監(jiān)控，還支持用戶導(dǎo)入DataDog開(kāi)源腳本進(jìn)行第三方組件的監(jiān)控。最后，由于用戶可能要監(jiān)控自身系統(tǒng)的狀態(tài)，需要在本機(jī)收集數(shù)據(jù)，希望有方法能幫忙把這些數(shù)據(jù)存儲(chǔ)起來(lái)，所以我們也提供了自定義上報(bào)通道，用戶把自行收集的業(yè)務(wù)數(shù)據(jù)上報(bào)，由DCOS存儲(chǔ)和轉(zhuǎn)發(fā)。

4.網(wǎng)絡(luò)監(jiān)控

接下來(lái)我們看一下網(wǎng)絡(luò)監(jiān)控。事實(shí)上對(duì)于網(wǎng)絡(luò)監(jiān)控，我們拆分了四個(gè)子模塊，第一個(gè)是SNMP模塊，它主要負(fù)責(zé)采集網(wǎng)絡(luò)設(shè)備端口信息，包括端口配置、端口的出入流量等，以及設(shè)備整體的運(yùn)作狀態(tài)，能夠發(fā)現(xiàn)設(shè)備中斷、失聯(lián)等異常。因?yàn)槲覀儾豢赡芨采w市面上所有的網(wǎng)絡(luò)設(shè)備類型，所以設(shè)計(jì)了一套自定義采集機(jī)制：用戶根據(jù)既定的語(yǔ)法以及默認(rèn)模板，編寫(xiě)滿足其要求的采集模板，然后把設(shè)備跟模板綁定，導(dǎo)入我們系統(tǒng)，我們就能對(duì)設(shè)備進(jìn)行自動(dòng)的采集和監(jiān)控。

第二個(gè)是網(wǎng)絡(luò)設(shè)備的日志收集，我們能夠收集設(shè)備的日志，做數(shù)據(jù)解析和合法性校驗(yàn)，然后進(jìn)行關(guān)鍵字匹配，判斷是否產(chǎn)生告警。我們支持用戶自定義匹配規(guī)則，也就是說(shuō)，用戶希望看到哪些告警，關(guān)注哪些級(jí)別，都可以自己編寫(xiě)規(guī)則，導(dǎo)入系統(tǒng)。

第三個(gè)是網(wǎng)絡(luò)質(zhì)量探測(cè)，我們可以發(fā)現(xiàn)網(wǎng)絡(luò)是否ping通，還有丟包延時(shí)情況。用戶可根據(jù)需要部署DCOS探測(cè)客戶端，在后臺(tái)定義好探測(cè)任務(wù)，系統(tǒng)就會(huì)自動(dòng)幫他探測(cè)他所關(guān)注的網(wǎng)絡(luò)情況。

最后是會(huì)話流量監(jiān)控，我們支持了netflow/sflow/netstream協(xié)議的數(shù)據(jù)收集和解析，從會(huì)話數(shù)據(jù)中提取源IP、目標(biāo)IP、源端口、目標(biāo)端口、出入方向、協(xié)議等信息，根據(jù)規(guī)則做匯總處理并存儲(chǔ)。用戶可以根據(jù)這些信息來(lái)分析業(yè)務(wù)的流量使用情況，進(jìn)而進(jìn)行業(yè)務(wù)調(diào)整和成本優(yōu)化。

5.告警管理

前面提到了服務(wù)器和網(wǎng)絡(luò)設(shè)備的監(jiān)控，在設(shè)備出現(xiàn)異常時(shí)，我們能夠發(fā)現(xiàn)異常，并告警出去。但這些告警用戶可能不太關(guān)心，或者需要特殊處理，比如用戶覺(jué)得某告警要發(fā)生了多次之后才知會(huì)他，或者重復(fù)告警需要過(guò)濾等。因此我們推出了DCOS告警模塊。我們的告警模塊提供了告警策略的配置管理以及告警的判斷、去重、屏蔽、通知等。

它的數(shù)據(jù)來(lái)源于服務(wù)器和網(wǎng)絡(luò)設(shè)備采集模塊，當(dāng)然也支持了用戶自行上報(bào)告警。我們可以調(diào)用API進(jìn)行告警策略配置和告警查詢。告警策略能夠決定告警將被怎么處理，比如要發(fā)生多少次之后才需要通知，或者告警是否被屏蔽，又或者是否滿足什么條件才轉(zhuǎn)發(fā)給消息中心等。根據(jù)告警策略和收到的數(shù)據(jù)，我們就能夠進(jìn)入告警判斷、告警去重、告警屏蔽，再到告警通知。最后我們也會(huì)判斷告警是否已恢復(fù)，恢復(fù)之后通知用戶。這就是整套告警管理機(jī)制，實(shí)現(xiàn)了剛剛提到的用戶對(duì)告警的定制化要求。

DCOS項(xiàng)目應(yīng)用&開(kāi)放計(jì)劃

目前為止，我們介紹了DCOS大部分的功能和模塊，當(dāng)然我們會(huì)不斷完善已有的功能模塊，還會(huì)引進(jìn)更多的監(jiān)管控服務(wù)，比如像故障預(yù)測(cè)等，豐富我們的平臺(tái)能力。

接下來(lái)我們看看DCOS目前的落地場(chǎng)景以及開(kāi)放計(jì)劃。

1.項(xiàng)目應(yīng)用

DCOS已經(jīng)伴隨騰訊金融云和專有云落地超過(guò)了15家中大型企業(yè)，這些企業(yè)服務(wù)器數(shù)量從幾百到上萬(wàn)不等，企業(yè)類型也是多種多樣，諸如銀行、超市、交易所等，客戶包括建行總行、港交所、永輝超市、微眾銀行等。

2.專利&開(kāi)源

專利方面，DCOS目前已有多篇國(guó)內(nèi)外的專利；而開(kāi)源方面，我們的配置管理模塊（CMDB），已經(jīng)在騰訊內(nèi)部開(kāi)源了，其它模塊也在陸續(xù)進(jìn)行。當(dāng)然，我們也在積極推動(dòng)外部開(kāi)源。

3.開(kāi)放計(jì)劃

最后，我們計(jì)劃把DCOS的軟件使用貢獻(xiàn)給OCP開(kāi)源項(xiàng)目。初期，我們會(huì)開(kāi)放CMDB模塊，服務(wù)器相關(guān)的模塊（包括帶外部署和遠(yuǎn)程控制），還有告警模塊。其它的模塊會(huì)根據(jù)其成熟程度陸續(xù)開(kāi)放。我們希望通過(guò)這些措施，為OCP的生態(tài)圈和整個(gè)云解決方案，貢獻(xiàn)我們的一份力量！