京城媒體“貼身肉搏”京東11.11指揮中心各位技術(shù)大神

0、從京東11.11指揮中心流出的數(shù)據(jù)：

- 京東研發(fā)15個(gè)一級(jí)部門參與今年11.11備戰(zhàn)；

- 參加備戰(zhàn)的共有：121個(gè)備戰(zhàn)小組，635名研發(fā)人員；

- 11.1各個(gè)線條正式進(jìn)入24小時(shí)值守的備戰(zhàn)狀態(tài)；

- 11.9開始，160名研發(fā)戰(zhàn)士進(jìn)入指揮中心；

- 備戰(zhàn)服務(wù)器已經(jīng)發(fā)放2000多臺(tái)；

- 涉及0級(jí)系統(tǒng)164個(gè)，0級(jí)系統(tǒng)的關(guān)聯(lián)應(yīng)用1000多個(gè)。共制定1000多個(gè)0級(jí)應(yīng)用的應(yīng)急預(yù)案；

- 截止上11.7，0級(jí)應(yīng)用系統(tǒng)的應(yīng)急預(yù)案全部準(zhǔn)備完成；

- 所有系統(tǒng)的應(yīng)急切換控制在60s之內(nèi)完成；

- 系統(tǒng)演習(xí)：共進(jìn)行了100多場(chǎng)演習(xí)；

- 防攻擊演習(xí)：多次ddos防攻演習(xí)；

- 共進(jìn)行了上百次專題討論會(huì)及備戰(zhàn)會(huì)議；

- 跟往年不同，今年的流量入口更分散化，流量分配更合理、更智能；

- 系統(tǒng)應(yīng)用的部署更趨于分布式；

- 交易引擎更具有彈性化的功能；

- 云存儲(chǔ)、云計(jì)算開始發(fā)揮出了作用；

- 大數(shù)據(jù)的應(yīng)用得到了體現(xiàn)；

一、電商大促前的線上壓測(cè)，教你4個(gè)絕招：

1、讀邏輯線上壓測(cè)。最容易實(shí)現(xiàn)的線上壓測(cè)。因?yàn)椴粫?huì)破壞用戶的數(shù)據(jù)，最多把你的系統(tǒng)壓出問(wèn)題來(lái)，而自身可控，所以系統(tǒng)很快就可以恢復(fù)。

2、寫邏輯線上壓測(cè)。最難寫的是寫邏輯線上壓測(cè)。京東目前線上壓測(cè)有很多非常重點(diǎn)的寫邏輯，大促前需要針對(duì)不適合降級(jí)的寫邏輯做線上壓測(cè)。如庫(kù)存、下單等，背后有大量需要清洗線上數(shù)據(jù)的工具，都是需要做線上檢測(cè)的寫邏輯。

3、確定覆蓋范圍。加哪些鏈接，加哪些業(yè)務(wù)流，主要取決于①你對(duì)平時(shí)線上業(yè)務(wù)的理解，哪些量級(jí)會(huì)影響到主交易流程的業(yè)務(wù)周期流向② 你平時(shí)要注意分析線上的日志，觀察哪些請(qǐng)求調(diào)用量比較大。

4、壓測(cè)過(guò)程中要看軟件和硬件，包括2個(gè)方面的指標(biāo)：首先，硬件方面包括CPU、內(nèi)存、硬盤、網(wǎng)絡(luò)，因?yàn)楝F(xiàn)在每一個(gè)系統(tǒng)都不一樣，有的是CPU 密集型的，有的加了太多的熱量緩存，有的是普通的操作硬盤，而有的看重網(wǎng)絡(luò)連接數(shù)，接口流量、出口流量都要觀察；第二，軟件方面主要有吞吐量、并發(fā)數(shù)、服務(wù)響應(yīng)的時(shí)長(zhǎng)，因?yàn)檎麄€(gè)交易系統(tǒng)已完全服務(wù)化，服務(wù)化后服務(wù)端的響應(yīng)時(shí)間是多少，客戶端的響應(yīng)時(shí)間是多少，要在壓測(cè)的過(guò)程中進(jìn)行觀測(cè)，以找出系統(tǒng)真實(shí)瓶頸。比如說(shuō)，服務(wù)端的時(shí)間很短，客戶端時(shí)間很長(zhǎng)，就可以檢查客戶端到服務(wù)端之間的網(wǎng)絡(luò)鏈路，包括底層架構(gòu)，是不是有問(wèn)題。

二、電商實(shí)時(shí)價(jià)格系統(tǒng)設(shè)計(jì)的4大原則：

1、水平擴(kuò)展分流原則。實(shí)時(shí)價(jià)格系統(tǒng)的瓶頸在于主Redis的數(shù)據(jù)負(fù)載能力，因?yàn)槿绻?/span>Redis后面承載的數(shù)據(jù)分片過(guò)多，單獨(dú)數(shù)據(jù)一致性比較難保證，性能也就無(wú)法保障。

2、限流原則。Nginx 節(jié)點(diǎn)加了很多限流規(guī)則，還有大量限流數(shù)據(jù)。整套系統(tǒng)最后做了線上壓測(cè)，發(fā)現(xiàn)整個(gè)系統(tǒng)的瓶頸點(diǎn)在于回源的調(diào)用。原因是其中的業(yè)務(wù)邏輯計(jì)算太復(fù)雜，既要獲取促銷的信息，還要獲取商品的信息，甚至要用大量服務(wù)完成邏輯運(yùn)算，從而回源調(diào)用困難。

3、降級(jí)原則。針對(duì)回源瓶頸進(jìn)行降級(jí)。進(jìn)購(gòu)物車前看到的價(jià)格信息可以允許不一致，但要以購(gòu)物車為準(zhǔn)，購(gòu)物車不能降級(jí)，這對(duì)大部分商品而言是可行的。

4、讀寫分離原則。形成幾個(gè)讀寫業(yè)務(wù)邏輯的閉環(huán)——后面的系統(tǒng)出了問(wèn)題絕對(duì)不會(huì)影響到前面的系統(tǒng)。

三、處理海量訂單時(shí)保障數(shù)據(jù)一致性的4個(gè)絕招：

1、系統(tǒng)整體控制上采用流程控制中心，而不是階梯式控制。

2、減少直接依賴數(shù)據(jù)庫(kù)，因?yàn)閿?shù)據(jù)庫(kù)最終會(huì)成為影響訂單處理的瓶頸，數(shù)據(jù)的一致性很難得到保證，

3、流程控制中心模式可以借助工作流和狀態(tài)機(jī)實(shí)現(xiàn)中心控制，這樣既便于運(yùn)營(yíng)，又方便及時(shí)發(fā)現(xiàn)和解決問(wèn)題單據(jù)。

4、梳理訂單處理的主流程和狀態(tài)機(jī)，然后由主流程系統(tǒng)負(fù)責(zé)整體流程的調(diào)度和數(shù)據(jù)的推送。這個(gè)主流程可能跨大的業(yè)務(wù)域，如物流領(lǐng)域和資金領(lǐng)域，每個(gè)領(lǐng)域內(nèi)可以有工作流，但不能與主流程沖突。

四、CDN，負(fù)載均衡和基礎(chǔ)網(wǎng)絡(luò)要解決的4大核心服務(wù)：

1、服務(wù)器等主機(jī)設(shè)備的網(wǎng)絡(luò)接入服務(wù)。這將主要影響主機(jī)設(shè)備網(wǎng)絡(luò)的有效接入帶寬和可用性。雖然目前數(shù)據(jù)中心的以太網(wǎng)物理接入帶寬基本都達(dá)到了1000Mbps，但實(shí)際上由于TOR、匯聚設(shè)備等上行鏈路的帶寬收斂，主機(jī)設(shè)備的平均有效帶寬遠(yuǎn)遠(yuǎn)低于1000M。而隨著近些年主機(jī)設(shè)備流量的快速增長(zhǎng)，接入帶寬不足的問(wèn)題愈發(fā)突顯。

2、數(shù)據(jù)中心的互聯(lián)網(wǎng)接入服務(wù)。這將主要影響數(shù)據(jù)中心整體可以提供互聯(lián)網(wǎng)服務(wù)的容量和質(zhì)量。隨著大型集群、分布式應(yīng)用、大數(shù)據(jù)應(yīng)用等技術(shù)架構(gòu)的廣泛使用，盡管互聯(lián)網(wǎng)流量在保持較高速度的持續(xù)增長(zhǎng)，但數(shù)據(jù)中心內(nèi)部東西向和南北向二者流量的總體增長(zhǎng)，給主機(jī)接入、互聯(lián)網(wǎng)接入同時(shí)帶來(lái)極大的挑戰(zhàn)。

3、數(shù)據(jù)中心之間的互聯(lián)服務(wù)。這將主要影響網(wǎng)絡(luò)對(duì)跨數(shù)據(jù)中心的數(shù)據(jù)調(diào)度和分布式應(yīng)用的支撐能力，以及相對(duì)于互聯(lián)網(wǎng)的網(wǎng)絡(luò)質(zhì)量?jī)?yōu)化能力。

4、數(shù)據(jù)中心云化服務(wù)。數(shù)據(jù)中心界限的模糊化、網(wǎng)絡(luò)服務(wù)的平臺(tái)化，是上層應(yīng)用和網(wǎng)絡(luò)自身發(fā)展的綜合需要。而高帶寬專線、基于DWDM 的傳輸系統(tǒng)是實(shí)現(xiàn)目標(biāo)的必經(jīng)之路，多數(shù)據(jù)中心的網(wǎng)絡(luò)架構(gòu)則是決定服務(wù)性能、擴(kuò)展性的核心保障。

脫光哪家強(qiáng)？指揮部里來(lái)幫忙！

京東技術(shù)學(xué)院【JDTech】在11.11的大戰(zhàn)壕里，跟在各個(gè)系統(tǒng)總監(jiān)身邊耳濡目染，與各媒體一起“貼身肉搏”用繩命整理出的各種絕招，看完趕緊加關(guān)注轉(zhuǎn)發(fā)朋友圈吧！如果想看更多京東11.11指揮中心露底組圖，關(guān)注【JDTech】然后“查看歷史消息”

感謝APEC Blue，感謝11.11大促！

祝你開心，白了個(gè)白。