|
（1）單機(jī)房架構(gòu)的核心是“全連接”；（2）機(jī)房遷移方案的設(shè)計(jì)目標(biāo)是：平滑遷移，不停服務(wù)；可以分批遷移；隨時(shí)可以回滾；（3）想要平滑的實(shí)施機(jī)房遷移，臨時(shí)性的多機(jī)房架構(gòu)不可避免；（1）理想多機(jī)房多活架構(gòu)，是純粹的“同機(jī)房連接”，僅有異步數(shù)據(jù)同步會(huì)跨機(jī)房；（2）理想多機(jī)房多活架構(gòu)，會(huì)有較嚴(yán)重?cái)?shù)據(jù)一致性問題，僅適用于具備數(shù)據(jù)聚集效應(yīng)的業(yè)務(wù)場(chǎng)景，例如：滴滴，快狗打車；（3）偽多機(jī)房多活架構(gòu)，思路是“最小化跨機(jī)房連接”，機(jī)房區(qū)分主次，落地性強(qiáng)，對(duì)原有架構(gòu)沖擊較小，強(qiáng)烈推薦；多機(jī)房多活，只是平滑上云的一個(gè)中間狀態(tài)，那上云的步驟究竟是怎么樣的呢？如上圖，系統(tǒng)分層架構(gòu)包含：web，業(yè)務(wù)服務(wù)，基礎(chǔ)服務(wù)，緩存，數(shù)據(jù)庫(kù)，它們都需要進(jìn)行遷移。（1）自底向上的遷移方案，從數(shù)據(jù)庫(kù)開始遷移；這兩種方案我分別在58同城和58到家實(shí)踐過，都是平滑的，螞蟻搬家式的，隨時(shí)可回滾，對(duì)業(yè)務(wù)無(wú)任何影響的，本文重點(diǎn)介紹“自頂向下”的方案。畫外音：14-15年58同城“逐日”項(xiàng)目，2000臺(tái)物理機(jī)平滑遷移至天津機(jī)房，我是當(dāng)時(shí)項(xiàng)目總架構(gòu)師。一、站點(diǎn)與服務(wù)遷移：無(wú)狀態(tài)，遷移容易 站點(diǎn)和服務(wù)無(wú)狀態(tài)，遷移起來(lái)并不困難。
步驟一，前置條件：步驟二，在新機(jī)房搭建好待遷移的子業(yè)務(wù)，部署好web站點(diǎn)，業(yè)務(wù)服務(wù)，基礎(chǔ)服務(wù)，做好充分的測(cè)試。（1）垂直拆分遷移，每次遷移的范圍不要太大，劃分好子業(yè)務(wù)和子系統(tǒng)；（2）緩存和數(shù)據(jù)庫(kù)還未遷移，存在跨機(jī)房連接；（3）新機(jī)房的配置文件注意“同連”，不要跨機(jī)房調(diào)用業(yè)務(wù)服務(wù)與基礎(chǔ)服務(wù)；步驟三，灰度切流量，將被遷移的子業(yè)務(wù)切5%的流量到新機(jī)房，觀察新機(jī)房的站點(diǎn)與服務(wù)是否異常。如果沒有問題，再10%，20%，50%，100%的逐步放量，直至某個(gè)子業(yè)務(wù)遷移完成。第一個(gè)子業(yè)務(wù)的站點(diǎn)和服務(wù)遷移完之后，第二個(gè)子業(yè)務(wù)、第三個(gè)子業(yè)務(wù)，螞蟻繼續(xù)搬家，直至所有的業(yè)務(wù)把站點(diǎn)和服務(wù)都全流量的遷移到新機(jī)房。在遷移過程中，任何一個(gè)子業(yè)務(wù)，任何時(shí)間發(fā)生異常，可以將流量切回舊機(jī)房。舊機(jī)房的站點(diǎn)、服務(wù)、配置都沒有改動(dòng)，依然能提供服務(wù)。二、緩存遷移：有狀態(tài)，但數(shù)據(jù)可重建站點(diǎn)和服務(wù)遷移完之后，接下來(lái)再遷緩存。 （1）所有的入口流量都已經(jīng)遷到了新的機(jī)房；（2）緩存和數(shù)據(jù)庫(kù)，仍然使用舊機(jī)房；畫外音：舊機(jī)房的站點(diǎn)和服務(wù)不能停，只要舊機(jī)房不停，就保留了切回流量回滾的可能性。步驟四，在新機(jī)房搭建好緩存，緩存的規(guī)模和體量與舊機(jī)房一樣。
步驟五，按照子業(yè)務(wù)垂直逐步切換使用新機(jī)房的緩存，切換細(xì)節(jié)為：（1）運(yùn)維做一個(gè)緩存內(nèi)網(wǎng)DNS的切換（內(nèi)網(wǎng)域名不變，IP切到新機(jī)房）；（2）殺掉原有緩存連接，業(yè)務(wù)線不需要做任何修改，只需要配合觀察服務(wù)；（3）緩存連接池會(huì)自動(dòng)重連，重連會(huì)自動(dòng)連接新機(jī)房的緩存；bingo，一個(gè)子業(yè)務(wù)緩存遷移完畢。（1）如果沒有使用內(nèi)網(wǎng)域名，而是采用IP直連緩存，則需要業(yè)務(wù)層配合，換新機(jī)房IP重啟；畫外音：說過無(wú)數(shù)次，一定要使用內(nèi)網(wǎng)域名。（2）緩存遷移時(shí)間，盡量選在流量低峰期，新緩存是空數(shù)據(jù)，如果選在流量高峰期，短時(shí)間內(nèi)可能會(huì)有大量請(qǐng)求透?jìng)鞯綌?shù)據(jù)庫(kù)上；（3）對(duì)于同一個(gè)服務(wù)，緩存的切換時(shí)瞬時(shí)的，不會(huì)同時(shí)使用新舊機(jī)房的緩存；緩存的遷移也是按照子業(yè)務(wù)，垂直拆分，螞蟻搬家式遷移的。整個(gè)遷移過程除了運(yùn)維操作切內(nèi)網(wǎng)域名，研發(fā)和測(cè)試都只是配合觀察服務(wù)，風(fēng)險(xiǎn)非常低。緩存允許cache miss，不用轉(zhuǎn)移舊緩存內(nèi)的數(shù)據(jù)，所以遷移方案比較簡(jiǎn)單。
三、數(shù)據(jù)庫(kù)遷移：有狀態(tài)，數(shù)據(jù)也要遷移站點(diǎn)層，服務(wù)層，緩存層都遷移完之后，最后是數(shù)據(jù)庫(kù)的遷移。
在遷移數(shù)據(jù)庫(kù)之前，服務(wù)通過專線跨機(jī)房連數(shù)據(jù)庫(kù)。如何進(jìn)行數(shù)據(jù)庫(kù)遷移呢？步驟六，先在新機(jī)房搭建新的數(shù)據(jù)庫(kù)。畫外音：自建機(jī)房，需要自己搭建新的MySQL實(shí)例；到家直接使用阿里云的RDS。步驟七，數(shù)據(jù)同步。自建機(jī)房可以使用數(shù)據(jù)庫(kù)MM/MS架構(gòu)同步數(shù)據(jù)，阿里云可以使用DTS同步數(shù)據(jù)。畫外音：DTS同步有一個(gè)大坑，只能通過公網(wǎng)同步非RDS的數(shù)據(jù)，至少在16年是這樣，不知道現(xiàn)在產(chǎn)品升級(jí)了沒有。數(shù)據(jù)庫(kù)同步完之后，如何進(jìn)行數(shù)據(jù)源切換呢？能不能像緩存的遷移一樣，運(yùn)維修改一個(gè)數(shù)據(jù)庫(kù)內(nèi)網(wǎng)DNS指向，然后切斷數(shù)據(jù)庫(kù)連接，讓服務(wù)重連新的數(shù)據(jù)庫(kù)呢？這樣的話，業(yè)務(wù)服務(wù)不需要改動(dòng)，也不需要重啟。
（1）一定得保證數(shù)據(jù)庫(kù)同步完成，才能切流量，但數(shù)據(jù)同步總是有遲延的，舊機(jī)房一直在不停的寫如數(shù)據(jù)，何時(shí)才算同步完成？（2）只有域名和端口不發(fā)生變化，才能不修改配置完成切換，但如果域名和端口（主要是端口）發(fā)生變化，是做不到不修改配置和重啟的。舉個(gè)例子，假設(shè)原有數(shù)據(jù)庫(kù)實(shí)例端口用了5858，而阿里云要求你使用3200，就必須改端口重啟。步驟八，最終的方案是，DBA在舊機(jī)房的數(shù)據(jù)庫(kù)設(shè)置一個(gè)ReadOnly，停止數(shù)據(jù)的寫入，在秒級(jí)別，RDS同步完成之后，服務(wù)修改數(shù)據(jù)庫(kù)端口，重啟連接新機(jī)房的數(shù)據(jù)庫(kù)，完成數(shù)據(jù)層的切換。這個(gè)過程中，為了保證數(shù)據(jù)的一致性，會(huì)損失秒級(jí)別的寫入可用性。
經(jīng)過上述站點(diǎn)、服務(wù)、緩存、數(shù)據(jù)庫(kù)的遷移，平滑的螞蟻搬家式上云目標(biāo)就這么完成啦。畫外音：幾百臺(tái)機(jī)器，幾千個(gè)集群，耗時(shí)一個(gè)季度。自頂向下的機(jī)房遷移方案總結(jié)一、先遷移站點(diǎn)層、業(yè)務(wù)服務(wù)層和基礎(chǔ)服務(wù)層（1）準(zhǔn)備新機(jī)房與專線；（2）搭建集群，充分測(cè)試，子業(yè)務(wù)垂直拆分遷移；（3）灰度切流量；二、緩存層遷移（4）搭建新緩存；（5）運(yùn)維修改緩存內(nèi)網(wǎng)DNS，切斷舊緩存連接，重連新緩存（這一步很騷），切流量；三、數(shù)據(jù)庫(kù)遷移（6）搭建新數(shù)據(jù)庫(kù)；（7）同步數(shù)據(jù)；（8）舊庫(kù)ReadOnly，同步完成后（秒級(jí)），服務(wù)指向新庫(kù)，改配置重啟，切流量；
以上8大步驟，整個(gè)過程分批遷移，一個(gè)子業(yè)務(wù)一個(gè)子業(yè)務(wù)的遷移，一塊緩存一塊緩存的遷移，一個(gè)數(shù)據(jù)庫(kù)一個(gè)數(shù)據(jù)庫(kù)的遷移，任何步驟出現(xiàn)問題都可以回滾的，整個(gè)過程不停服務(wù)。
|
