近年來由于國內(nèi)移動(dòng)互聯(lián)網(wǎng)的飛速發(fā)展，國內(nèi)互聯(lián)網(wǎng)用戶也有了大踏步的飛躍。這對(duì)企業(yè)來說，既是機(jī)遇，也有挑戰(zhàn)。

機(jī)遇在于，現(xiàn)實(shí)中如此多的互聯(lián)網(wǎng)用戶，都有可能是你的產(chǎn)品用戶。尤其在當(dāng)前流量為王的時(shí)代，如此大基數(shù)的用戶，給互聯(lián)網(wǎng)的產(chǎn)品帶來了無限可能；同時(shí)，這也給企業(yè)的后臺(tái)架構(gòu)、運(yùn)維體系提出了很高的要求，如果能夠吸引到足夠多的用戶，卻因?yàn)楹笈_(tái)架構(gòu)的可用性無法達(dá)到這種量級(jí)的標(biāo)準(zhǔn)，由于流量沖擊過大導(dǎo)致后臺(tái)架構(gòu)崩潰，造成前端用戶的不可用，從而造成大量的用戶流失，這就是海量用戶所帶給企業(yè)的挑戰(zhàn)。

在云計(jì)算時(shí)代，當(dāng)“上云”已經(jīng)成為一家互聯(lián)網(wǎng)企業(yè)的標(biāo)配之后，在云端，應(yīng)該如何保障企業(yè)業(yè)務(wù)的連續(xù)性和可用性呢？IDC 在全球范圍內(nèi)針對(duì)多個(gè)行業(yè)下中小型企業(yè)（員工數(shù)小于 1000 名）的調(diào)研顯示，近 80% 的公司預(yù)計(jì)每小時(shí)的停機(jī)成本至少在 2 萬美元以上，而超過 20% 的企業(yè)估算其每小時(shí)的停機(jī)成本至少為 10 萬美元。

而在當(dāng)前國內(nèi)互聯(lián)網(wǎng)的大環(huán)境下，如果服務(wù)器宕機(jī)造成業(yè)務(wù)的不可用，所引起的連鎖反應(yīng)以及損失是不可估量的。你可以想象，如果在雙十一當(dāng)晚，電商 App 的支付接口出現(xiàn)了問題導(dǎo)致該業(yè)務(wù)不可用，所造成的損失會(huì)是多少。

因此，系統(tǒng)性能的高可用以及提前做好災(zāi)備措施已經(jīng)成為了國內(nèi)互聯(lián)網(wǎng)企業(yè)的一個(gè)常態(tài)化認(rèn)知。在云計(jì)算已經(jīng)十分普及的現(xiàn)在，云端性能的高可用與否以及容災(zāi)措施的是否完善，正在成為企業(yè)衡量一家公有云廠商的重要標(biāo)準(zhǔn)之一。

云端如何實(shí)現(xiàn)系統(tǒng)性能的高可用

騰訊云高可用解決方案架構(gòu)圖

應(yīng)用層面的高可用，騰訊云在技術(shù)架構(gòu)以及應(yīng)用落地方面已進(jìn)行了諸多實(shí)踐，其中主要囊括了以下 6 點(diǎn)：

1、客戶端接入高可用：通過在客戶端引入接入層技術(shù)（云解析、httpdns 和 IP 直連），依靠騰訊云在國內(nèi)的 69 組集群以及海外 12 組集群，通過 DNS 智能調(diào)度，任意節(jié)點(diǎn)發(fā)生故障均能無縫切換到其他節(jié)點(diǎn)，保證服務(wù)的高可用性，同時(shí)防止域名劫持；

2、針對(duì)外網(wǎng)接入高可用：騰訊云當(dāng)前支持 40 BGP 線路，可實(shí)現(xiàn)對(duì)故障的快速調(diào)度切換，防止因?yàn)楣歉删W(wǎng)故障導(dǎo)致業(yè)務(wù)的長時(shí)間不可用。同時(shí)騰訊云提供跨地域的 LB 接入和 anycast LB 能力，幫助業(yè)務(wù)實(shí)現(xiàn)跨地域跨區(qū)接入，避免因?yàn)闄C(jī)房故障導(dǎo)致業(yè)務(wù)中斷。

3、云內(nèi)網(wǎng)絡(luò)高可用：跨區(qū)域通過數(shù)據(jù)中心互聯(lián)（廣域網(wǎng)）互通，且雙環(huán)路保護(hù)，云上所有內(nèi)部網(wǎng)絡(luò)均基于成熟的網(wǎng)絡(luò)虛擬化技術(shù)和網(wǎng)卡綁定技術(shù)來保證網(wǎng)絡(luò)高可用性，在 T3 以上數(shù)據(jù)中心中采用多臺(tái)服務(wù)器組成高性能群組，不依賴于某個(gè)獨(dú)立硬件，因而不存在單點(diǎn)故障，單個(gè)服務(wù)器異常不會(huì)造成業(yè)務(wù)影響，保證運(yùn)行網(wǎng)絡(luò)的可靠性。

4、云上服務(wù)器高可用：騰訊云主機(jī)服務(wù)支持宕機(jī)遷移無感知、數(shù)據(jù)快照、自動(dòng)告警等功能，為用戶的服務(wù)器保駕護(hù)航。同時(shí)云硬盤提供三副本專業(yè)存儲(chǔ)策略，消除單點(diǎn)故障，支持用戶設(shè)定定期快照，定期將數(shù)據(jù)進(jìn)行快照備份，保證數(shù)據(jù)可靠性。

5、中間件高可用：方案設(shè)計(jì)中可以考慮緩存和 MQ 多可用區(qū)域部署方案，在保障數(shù)據(jù)正確的同時(shí)，能夠?qū)Ω黝愔虚g件進(jìn)行快速切換，盡量減少業(yè)務(wù)感知。

6、數(shù)據(jù)層高可用：CDB 數(shù)據(jù)庫支持實(shí)時(shí)熱備、讀寫分離，且實(shí)現(xiàn)了同城多可用區(qū)、異地災(zāi)備和兩地三中心等滿足金融級(jí)跨地域容災(zāi)需求；于業(yè)務(wù)低峰期自動(dòng)冷備，不影響現(xiàn)網(wǎng)業(yè)務(wù)，每份冷備數(shù)據(jù)保存 3 份副本，保證數(shù)完整性。同時(shí)保留 5 天 binlog 日志供數(shù)據(jù)無損恢復(fù)，支持 5 天內(nèi)庫、表粒度的任意時(shí)間點(diǎn)回檔，最大限度保障數(shù)據(jù)準(zhǔn)確性，可靠性。

基礎(chǔ)設(shè)施層的高可用，依托遍布全球 25 個(gè)地區(qū)的 53 個(gè)可用區(qū)，通過在全球部署超 1300 個(gè)加速節(jié)點(diǎn)以及超 100T 的帶寬儲(chǔ)備，能夠?qū)⒎?wù)內(nèi)容分發(fā)到全網(wǎng)加速節(jié)點(diǎn)，支持千萬級(jí)用戶并發(fā)，有效解決跨運(yùn)營商、跨地域不穩(wěn)定、高延遲訪問等問題。

云端性能高可用運(yùn)維實(shí)踐

對(duì)于越來越多的上云企業(yè)而言，除了選擇有高可用架構(gòu)的云服務(wù)商之外，更要搭建符合自身業(yè)務(wù)特色的高可用架構(gòu)，才是業(yè)務(wù)穩(wěn)定性的重要保證。

快手云端多活容災(zāi)實(shí)踐

快手的短視頻和直播一直是其最重要的兩個(gè)業(yè)務(wù)，此類在線流媒體播放的業(yè)務(wù)，不僅會(huì)對(duì)帶寬、CDN 等流量方面有著高要求，更要求自身系統(tǒng)業(yè)務(wù)的高可用，如果由于訪問量突增導(dǎo)致的流量突發(fā)、數(shù)據(jù)庫讀取緩慢所造成的用戶體驗(yàn)差或者業(yè)務(wù)不可用，會(huì)對(duì)快手的業(yè)務(wù)造成極大影響。

快手容災(zāi)架構(gòu)圖

為了確保平臺(tái)服務(wù)的高可用，騰訊云從接入層、邏輯層、以及數(shù)據(jù)層幫助快手全面建設(shè)云端的高可用解決方案。

接入層：通過騰訊云專線鏈接各大機(jī)房，前端通過負(fù)載均衡接入，并且使用騰訊云的安全產(chǎn)品，保障全站的網(wǎng)絡(luò)攻擊。

邏輯層：邏輯層設(shè)計(jì)為多活模式，多中心業(yè)務(wù)部署，針對(duì)核心的業(yè)務(wù)在異地做多活，定期做演練，以保證能快速實(shí)現(xiàn)機(jī)房故障等災(zāi)難性故障的快速恢復(fù)。

數(shù)據(jù)層：數(shù)據(jù)層利用騰訊云數(shù)據(jù)產(chǎn)品的主備容災(zāi)架構(gòu)做好足夠的容災(zāi)，可以自動(dòng)將數(shù)據(jù)庫與騰訊云和客戶 IDC 做異構(gòu)系統(tǒng)備份。針對(duì)核心的業(yè)務(wù)在異地做多活，定期做演練，以應(yīng)對(duì)機(jī)房故障等災(zāi)難性故障的快速恢復(fù)。

每日優(yōu)鮮的云端單活熱備部署實(shí)踐

每日優(yōu)鮮由于自身業(yè)務(wù)特性，在節(jié)假日有著較為明顯的流量高峰期，需要長期面對(duì)高并發(fā)沖擊的局面，因此之前將業(yè)務(wù)全部部署在單一云端上是有問題的，因?yàn)橐坏┏霈F(xiàn)網(wǎng)絡(luò)異常、存儲(chǔ)數(shù)據(jù)丟失等問題，由于缺乏相應(yīng)的災(zāi)備能力，此類故障會(huì)導(dǎo)致業(yè)務(wù)線的全部不可用，尤其是在節(jié)假日人們此類需求較高的時(shí)期，如果出現(xiàn)此類問題，不僅會(huì)耽誤到業(yè)務(wù)運(yùn)營，還會(huì)對(duì)品牌構(gòu)成負(fù)面影響。

云端單活熱備部署

為避免上述情況的發(fā)生，每日優(yōu)鮮通過在云端實(shí)現(xiàn)多云熱備部署以及 DNS 應(yīng)急切換來實(shí)現(xiàn)業(yè)務(wù)容災(zāi)切換，以保障業(yè)務(wù)的連續(xù)性。雙云之間通過專線打通，實(shí)現(xiàn)雙線冗余，系統(tǒng)異常時(shí)流量會(huì)切入騰訊云，并通過技術(shù)手段實(shí)現(xiàn)數(shù)據(jù)一致性。具體的技術(shù)實(shí)現(xiàn)細(xì)節(jié)包含以下 7 點(diǎn)：

騰訊云與每日優(yōu)鮮現(xiàn)有的云端通過專線打通, 雙線冗余 ;

基于每日優(yōu)鮮現(xiàn)在的云端和騰訊云做業(yè)務(wù)主備架構(gòu)，通過 DNS 調(diào)度，正常時(shí)流量引入每日優(yōu)鮮固有的云端, 當(dāng)此云端性能異常時(shí), 再瞬間切換到騰訊云. 實(shí)現(xiàn)數(shù)據(jù)同步。

數(shù)據(jù)庫通過 DTS 實(shí)時(shí)傳輸?shù)津v訊云, 確保數(shù)據(jù)一致性 ;

DNS 到用戶固有的云端出現(xiàn)訪問故障,DNS 將指向切換到騰訊云。 故障時(shí)做好告警機(jī)制, 一旦 UC 故障超過 SLA, 切換 DNS。

啟用業(yè)務(wù)層、中間件服務(wù)以及數(shù)據(jù)一致性。

數(shù)據(jù)仍然讀寫用戶固有的云數(shù)據(jù)庫, 應(yīng)用 DTS 工具保證數(shù)據(jù)實(shí)時(shí)同步, 一致性。

專線延遲一般在 2ms 內(nèi), 延遲可控。

樂逗游戲異地容災(zāi)高可用實(shí)踐

游戲行業(yè)對(duì)于高可用方案的需求則更為迫切，一款熱門游戲，在極短的時(shí)間內(nèi)需要應(yīng)對(duì) 10 倍甚至百倍的用戶量增長，如果后臺(tái)系統(tǒng)架構(gòu)的承壓能力不夠強(qiáng)，就會(huì)直接影響到游戲的順利運(yùn)營，游戲行業(yè)的用戶爭奪是非常激烈的，因此一旦出現(xiàn)不可用的狀況，所帶來的損失無法估計(jì)。

以樂逗游戲?yàn)槔瑯范河螒蜃钪匾臉I(yè)務(wù)模塊是游戲平臺(tái)服務(wù)，為了確保該系統(tǒng)在特殊時(shí)期也能保持高可用的性能狀態(tài)，樂逗游戲在騰訊云平臺(tái)搭建了一整套異地容災(zāi)高可用解決方案。

樂逗游戲高可用容災(zāi)解決方案架構(gòu)圖

為了實(shí)現(xiàn)游戲平臺(tái)服的跨城異地容災(zāi)，規(guī)避機(jī)房故障等災(zāi)難性故障對(duì)業(yè)務(wù)造成的影響，樂逗游戲從三個(gè)層面做好了相應(yīng)的準(zhǔn)備：

接入層：前端通過負(fù)載均衡做接入，并購買 BGP 高防包綁定 CLB 做 DDOS 網(wǎng)絡(luò)攻擊防御，同時(shí)在安全防護(hù)上接入騰訊云宙斯盾防護(hù)體系，以應(yīng)對(duì) DDOS 網(wǎng)絡(luò)攻擊。

邏輯層：游戲邏輯層設(shè)計(jì)成無狀態(tài)，故障時(shí)可直接剔除。此外為應(yīng)對(duì)業(yè)務(wù)用戶激增，可在容量擴(kuò)展的同時(shí)接入 Auto Scaling，根據(jù)業(yè)務(wù)流量動(dòng)態(tài)擴(kuò)縮容。部分單點(diǎn)模塊采用高可用虛擬（HAVIP）實(shí)現(xiàn) HA 架構(gòu)，主機(jī)故障自動(dòng)剔除，規(guī)避云主機(jī)單點(diǎn)故障。

數(shù)據(jù)層：數(shù)據(jù)層采用了 Redis Mysql 的存儲(chǔ)架構(gòu)，采用讀寫分離架構(gòu)和主備容災(zāi)架構(gòu)做好 HA，每天將數(shù)據(jù)庫冷備文件自動(dòng)導(dǎo)出并同步到對(duì)象存儲(chǔ) COS 中做異構(gòu)系統(tǒng)備份。針對(duì)核心的平臺(tái)登錄服和支付服在異地做雙活，定期做災(zāi)備演練，以應(yīng)對(duì)機(jī)房癱瘓等災(zāi)難性故障的快速恢復(fù)。

結(jié)語：

隨著越來越多的企業(yè)將業(yè)務(wù)部署在云上，云端的故障已經(jīng)成為企業(yè)不得不關(guān)注的重點(diǎn)，采用高可用架構(gòu)和方案也成為企業(yè)運(yùn)維人員必須思考的話題。除此之外，作為企業(yè)技術(shù)人員，如何保證企業(yè)業(yè)務(wù)和服務(wù)的穩(wěn)定性，值得業(yè)界一起探索。