程池模式一般分為兩種:L/F領(lǐng)導(dǎo)者與跟隨者模式、HS/HA半同步/半異步模式。
HS/HA
半同步/
半異步模式
:分為三層,同步層、隊(duì)列層、異步層,又稱為生產(chǎn)者消費(fèi)者模式,主線程處理I/O事件并解析然后再往隊(duì)列丟數(shù)據(jù),然后消費(fèi)者讀出數(shù)據(jù)進(jìn)行應(yīng)用邏輯處理;
優(yōu)點(diǎn):簡(jiǎn)化編程將低層的異步I/O和高層同步應(yīng)用服務(wù)分離,且沒(méi)有降低低層服務(wù)性能。集中層間通信。
缺點(diǎn):需要線程間傳輸數(shù)據(jù),因此而帶來(lái)的動(dòng)態(tài)內(nèi)存分配,數(shù)據(jù)拷貝,語(yǔ)境切換帶來(lái)開(kāi)銷。高層服務(wù)不可能從底層異步服務(wù)效率中獲益。
L/F
領(lǐng)導(dǎo)者跟隨者模式
:在LF線程池中,線程可處在3種線程狀態(tài)之一:
leader、follower或processor。處于leader狀態(tài)的線程負(fù)責(zé)監(jiān)聽(tīng)網(wǎng)絡(luò)端口,當(dāng)有消息到達(dá)時(shí),該線程負(fù)責(zé)消息分離,并從處于
follower狀態(tài)中的線程中按照某種機(jī)制如FIFO或基于優(yōu)先級(jí)等選出一個(gè)來(lái)當(dāng)新的leader,然后將自己設(shè)置為processor狀態(tài)去分配和處
理該事件。處理完畢后線程將自身的狀態(tài)設(shè)置為follower狀態(tài)去等待重新成為leader。在整個(gè)線程池中同一時(shí)刻只有一個(gè)線程可以處于leader
狀態(tài),這保證了同一事件不會(huì)被多個(gè)線程重復(fù)處理。
缺點(diǎn):實(shí)現(xiàn)復(fù)雜性和缺乏靈活性;
優(yōu)點(diǎn):增強(qiáng)了CPU高速緩存相似性,消除了動(dòng)態(tài)內(nèi)存分配和線程間的數(shù)據(jù)交換。
兩種模式性能分析:
L/F模式處理一個(gè)消息的時(shí)間為多路分離、分配、處理的時(shí)間,加上線程管理時(shí)間,LF中多個(gè)線程共享一個(gè)事件源,所以,需要協(xié)調(diào)它們間的行為,即
有同步開(kāi)銷,L/F同步開(kāi)銷僅為申請(qǐng)/釋放鎖的開(kāi)銷,在LF處理請(qǐng)求過(guò)程中并不需要線程上下文切換,但是在線程由follower成為leader時(shí)需要
進(jìn)行線程上下文切換,所以當(dāng)兩個(gè)請(qǐng)求同時(shí)到達(dá)時(shí),這種上下文切換會(huì)影響第二個(gè)請(qǐng)求的處理時(shí)間,也會(huì)帶來(lái)一定的上下文開(kāi)銷。
T(L/F)=T(多路分離)+T(分配)+T(處理)+T(同步)+T(上下文)
HS/HA模式監(jiān)聽(tīng)線程和工作線程間通過(guò)一個(gè)消息隊(duì)列來(lái)交換數(shù)據(jù)。這會(huì)帶來(lái)數(shù)據(jù)傳遞開(kāi)銷,。同時(shí),監(jiān)聽(tīng)線程和工作線程都需要去訪問(wèn)消息隊(duì)列,造成
了資源的競(jìng)爭(zhēng),需要額外的同步機(jī)制來(lái)協(xié)調(diào)他們的行為,包括監(jiān)聽(tīng)線程獲取和釋放資源鎖,對(duì)應(yīng)的工作線程獲取和釋放資源鎖,以及監(jiān)聽(tīng)線程在將一個(gè)請(qǐng)求放入隊(duì)列
后通知工作線程帶來(lái)的開(kāi)銷,我們稱此為同步開(kāi)銷,HS/HA模式的同步開(kāi)銷大于L/F的同步開(kāi)銷,。一個(gè)請(qǐng)求由監(jiān)聽(tīng)線程負(fù)責(zé)放入消息隊(duì)列,但是卻由工作線
程來(lái)處理,所以,每個(gè)請(qǐng)求都會(huì)造成一次線程上下文切
換,由此帶來(lái)的開(kāi)銷我們稱為上下文開(kāi)銷。
T
(H/H)=T(多路分離)+T(分配)+T(處理)+T(同步)+T(數(shù)據(jù)傳遞)+T(上下文)
從上面分析可以看出沒(méi)有并發(fā)情況下L/F模式線程池模式性能優(yōu)于HS/HA模式。
并發(fā)性能分析:
T(多路分離)、T(分配):LF和HH中把每一個(gè)消息的到來(lái)當(dāng)作一個(gè)事件來(lái)處理。事件分配所做的工作是在一個(gè)事件處理器注冊(cè)表中為一個(gè)事件查找
事件處理器。這一步驟花費(fèi)的時(shí)間隨著當(dāng)前注冊(cè)的事件處理器的個(gè)數(shù)變化。當(dāng)線程池接受用戶連接請(qǐng)求后會(huì)為每一個(gè)連接注冊(cè)一個(gè)事件處理器,所有通過(guò)該連接發(fā)來(lái)
的請(qǐng)求都將由同一個(gè)事件處理器來(lái)處理。而事件處理器表采用一個(gè)平衡二叉樹(shù)來(lái)實(shí)現(xiàn)。因此,事件分配的時(shí)間可以認(rèn)為是隨著并發(fā)用戶數(shù)的增大而增大;
T(處理)處理消息和管理線程所需的時(shí)間都不受并發(fā)用戶數(shù)的影響。
T(線程管理),多線程帶來(lái)的線程管理開(kāi)銷只會(huì)隨著線程池中線程數(shù)而變化,相對(duì)固定。
LF和HH的吞吐量會(huì)隨著并發(fā)用戶數(shù)的增加而增加。當(dāng)并發(fā)用戶數(shù)達(dá)到一定數(shù)量時(shí),CPU成為系統(tǒng)瓶頸,此后增大并發(fā)用戶數(shù)不僅不能增加并發(fā)處理的請(qǐng)求個(gè)數(shù),反而會(huì)加大多路分離和分配的時(shí)間,從而使得系統(tǒng)吞吐量下降。
最佳性能時(shí)線程線:
隨著線程數(shù)的增多吞吐量不斷增大,當(dāng)達(dá)到最大值后有一個(gè)短暫的保持階段,此后繼續(xù)增大線程數(shù)反而會(huì)使得吞吐量減小。而且當(dāng)請(qǐng)求類型為計(jì)算密集型時(shí)線程數(shù)對(duì)
HH 的吞吐量的影響并不是很明顯。原因是HH線程池在增加線程數(shù)時(shí)線程管理開(kāi)銷也有較大幅度的增加。因此,通過(guò)增大線程數(shù)來(lái)改善系統(tǒng)性能對(duì)HH來(lái)說(shuō)并不是一種有效的方法。