面對大量用戶訪問、高并發(fā)請求,海量數(shù)據(jù),可以使用高性能的服務(wù)器、大型數(shù)據(jù)庫,存儲設(shè)備,高性能Web服務(wù)器,采用高效率的編程語言比如(Go,Scala)等,當(dāng)單機(jī)容量達(dá)到極限時(shí),我們需要考慮業(yè)務(wù)拆分和分布式部署,來解決大型網(wǎng)站訪問量大,并發(fā)量高,海量數(shù)據(jù)的問題。 從單機(jī)網(wǎng)站到分布式網(wǎng)站,很重要的區(qū)別是業(yè)務(wù)拆分和分布式部署,將應(yīng)用拆分后,部署到不同的機(jī)器上,實(shí)現(xiàn)大規(guī)模分布式系統(tǒng)。分布式和業(yè)務(wù)拆分解決了,從集中到分布的問題,但是每個(gè)部署的獨(dú)立業(yè)務(wù)還存在單點(diǎn)的問題和訪問統(tǒng)一入口問題,為解決單點(diǎn)故障,我們可以采取冗余的方式。將相同的應(yīng)用部署到多臺機(jī)器上。解決訪問統(tǒng)一入口問題,我們可以在集群前面增加負(fù)載均衡設(shè)備,實(shí)現(xiàn)流量分發(fā)。 負(fù)載均衡(Load Balance),意思是將負(fù)載(工作任務(wù),訪問請求)進(jìn)行平衡、分?jǐn)偟蕉鄠€(gè)操作單元(服務(wù)器,組件)上進(jìn)行執(zhí)行。是解決高性能,單點(diǎn)故障(高可用),擴(kuò)展性(水平伸縮)的終極解決方案。 本文是負(fù)載均衡詳解的第一篇文章,介紹負(fù)載均衡的原理,負(fù)載均衡分類(DNS負(fù)載均衡,HTTP負(fù)載均衡,IP負(fù)載均衡,鏈路層負(fù)載均衡,混合型P負(fù)載均衡)。部分內(nèi)容摘自讀書筆記。 本次分享大綱
一、負(fù)載均衡原理系統(tǒng)的擴(kuò)展可分為縱向(垂直)擴(kuò)展和橫向(水平)擴(kuò)展??v向擴(kuò)展,是從單機(jī)的角度通過增加硬件處理能力,比如CPU處理能力,內(nèi)存容量,磁盤等方面,實(shí)現(xiàn)服務(wù)器處理能力的提升,不能滿足大型分布式系統(tǒng)(網(wǎng)站),大流量,高并發(fā),海量數(shù)據(jù)的問題。因此需要采用橫向擴(kuò)展的方式,通過添加機(jī)器來滿足大型網(wǎng)站服務(wù)的處理能力。比如:一臺機(jī)器不能滿足,則增加兩臺或者多臺機(jī)器,共同承擔(dān)訪問壓力。這就是典型的集群和負(fù)載均衡架構(gòu):如下圖:
負(fù)載均衡的作用(解決的問題): 1.解決并發(fā)壓力,提高應(yīng)用處理性能(增加吞吐量,加強(qiáng)網(wǎng)絡(luò)處理能力); 2.提供故障轉(zhuǎn)移,實(shí)現(xiàn)高可用; 3.通過添加或減少服務(wù)器數(shù)量,提供網(wǎng)站伸縮性(擴(kuò)展性); 4.安全防護(hù);(負(fù)載均衡設(shè)備上做一些過濾,黑白名單等處理) 二、負(fù)載均衡分類根據(jù)實(shí)現(xiàn)技術(shù)不同,可分為DNS負(fù)載均衡,HTTP負(fù)載均衡,IP負(fù)載均衡,鏈路層負(fù)載均衡等。 2.1DNS負(fù)載均衡最早的負(fù)載均衡技術(shù),利用域名解析實(shí)現(xiàn)負(fù)載均衡,在DNS服務(wù)器,配置多個(gè)A記錄,這些A記錄對應(yīng)的服務(wù)器構(gòu)成集群。大型網(wǎng)站總是部分使用DNS解析,作為第一級負(fù)載均衡。如下圖: 優(yōu)點(diǎn)
缺點(diǎn)
實(shí)踐建議 將DNS作為第一級負(fù)載均衡,A記錄對應(yīng)著內(nèi)部負(fù)載均衡的IP地址,通過內(nèi)部負(fù)載均衡將請求分發(fā)到真實(shí)的Web服務(wù)器上。一般用于互聯(lián)網(wǎng)公司,復(fù)雜的業(yè)務(wù)系統(tǒng)不合適使用。如下圖: 1.3 IP負(fù)載均衡在網(wǎng)絡(luò)層通過修改請求目標(biāo)地址進(jìn)行負(fù)載均衡。 用戶請求數(shù)據(jù)包,到達(dá)負(fù)載均衡服務(wù)器后,負(fù)載均衡服務(wù)器在操作系統(tǒng)內(nèi)核進(jìn)程獲取網(wǎng)絡(luò)數(shù)據(jù)包,根據(jù)負(fù)載均衡算法得到一臺真實(shí)服務(wù)器地址,然后將請求目的地址修改為,獲得的真實(shí)ip地址,不需要經(jīng)過用戶進(jìn)程處理。 真實(shí)服務(wù)器處理完成后,響應(yīng)數(shù)據(jù)包回到負(fù)載均衡服務(wù)器,負(fù)載均衡服務(wù)器,再將數(shù)據(jù)包源地址修改為自身的ip地址,發(fā)送給用戶瀏覽器。如下圖: IP負(fù)載均衡,真實(shí)物理服務(wù)器返回給負(fù)載均衡服務(wù)器,存在兩種方式:(1)負(fù)載均衡服務(wù)器在修改目的ip地址的同時(shí)修改源地址。將數(shù)據(jù)包源地址設(shè)為自身盤,即源地址轉(zhuǎn)換(snat)。(2)將負(fù)載均衡服務(wù)器同時(shí)作為真實(shí)物理服務(wù)器集群的網(wǎng)關(guān)服務(wù)器。 優(yōu)點(diǎn): (1)在內(nèi)核進(jìn)程完成數(shù)據(jù)分發(fā),比在應(yīng)用層分發(fā)性能更好; 缺點(diǎn): (2)所有請求響應(yīng)都需要經(jīng)過負(fù)載均衡服務(wù)器,集群最大吞吐量受限于負(fù)載均衡服務(wù)器網(wǎng)卡帶寬; 2.4鏈路層負(fù)載均衡在通信協(xié)議的數(shù)據(jù)鏈路層修改mac地址,進(jìn)行負(fù)載均衡。 數(shù)據(jù)分發(fā)時(shí),不修改ip地址,指修改目標(biāo)mac地址,配置真實(shí)物理服務(wù)器集群所有機(jī)器虛擬ip和負(fù)載均衡服務(wù)器ip地址一致,達(dá)到不修改數(shù)據(jù)包的源地址和目標(biāo)地址,進(jìn)行數(shù)據(jù)分發(fā)的目的。 實(shí)際處理服務(wù)器ip和數(shù)據(jù)請求目的ip一致,不需要經(jīng)過負(fù)載均衡服務(wù)器進(jìn)行地址轉(zhuǎn)換,可將響應(yīng)數(shù)據(jù)包直接返回給用戶瀏覽器,避免負(fù)載均衡服務(wù)器網(wǎng)卡帶寬成為瓶頸。也稱為直接路由模式(DR模式)。如下圖: 優(yōu)點(diǎn):性能好; 缺點(diǎn):配置復(fù)雜; 實(shí)踐建議:DR模式是目前使用最廣泛的一種負(fù)載均衡方式。 2.5混合型負(fù)載均衡由于多個(gè)服務(wù)器群內(nèi)硬件設(shè)備、各自的規(guī)模、提供的服務(wù)等的差異,可以考慮給每個(gè)服務(wù)器群采用最合適的負(fù)載均衡方式,然后又在這多個(gè)服務(wù)器群間再一次負(fù)載均衡或群集起來以一個(gè)整體向外界提供服務(wù)(即把這多個(gè)服務(wù)器群當(dāng)做一個(gè)新的服務(wù)器群),從而達(dá)到最佳的性能。將這種方式稱之為混合型負(fù)載均衡。 此種方式有時(shí)也用于單臺均衡設(shè)備的性能不能滿足大量連接請求的情況下。是目前大型互聯(lián)網(wǎng)公司,普遍使用的方式。 方式一,如下圖: 以上模式適合有動靜分離的場景,反向代理服務(wù)器(集群)可以起到緩存和動態(tài)請求分發(fā)的作用,當(dāng)時(shí)靜態(tài)資源緩存在代理服務(wù)器時(shí),則直接返回到瀏覽器。如果動態(tài)頁面則請求后面的應(yīng)用負(fù)載均衡(應(yīng)用集群)。 方式二,如下圖: 以上模式,適合動態(tài)請求場景。 因混合模式,可以根據(jù)具體場景,靈活搭配各種方式,以上兩種方式僅供參考。 |
|