【原】穩(wěn)定性三十六計(jì)-歷史記錄

編程一生 2022-03-09

展開全文

引子

半夜三點(diǎn)，睡夢(mèng)中被一陣沒人接聽誓不罷休的電話鈴吵醒。睡眼惺忪的接聽了電話，電話那頭傳來(lái)了不用聽清任何人類語(yǔ)言就能感受的焦急。讓我趕快打開電腦，說(shuō)服務(wù)整個(gè)不工作了！

打開監(jiān)控看到線程池被打滿。本著“先恢復(fù)現(xiàn)場(chǎng)再排查原因”的基本原則，重啟并擴(kuò)容了一倍的服務(wù)器。服務(wù)又正常了。完美的做到了“三分鐘定位，十分鐘解決”。但是現(xiàn)場(chǎng)不在了，怎么排查根因呢？答案是：歷史記錄。

為什么要做歷史記錄

歷史記錄是大數(shù)據(jù)的最重要數(shù)據(jù)源。通過歷史記錄可以進(jìn)行事件追溯、未來(lái)預(yù)判和推薦。舉個(gè)例子：

靜兒在網(wǎng)上搜索了“穩(wěn)定性三十六計(jì)”這個(gè)詞，找到自己想要的內(nèi)容了。然后去做別的事情，再打開瀏覽器的時(shí)候，發(fā)現(xiàn)旁邊的小彈出框里推薦我《穩(wěn)定性寶典》這本書。

這個(gè)推薦效果很多種算法都能實(shí)現(xiàn)，比如最近比較火的“協(xié)同過濾推薦算法(Collaborative Filtering Recommendation)”。啥是協(xié)同過濾推薦算法呢？協(xié)同過濾推薦算法簡(jiǎn)而言之，就是找到相同興趣的群體，將這個(gè)群體中感興趣的其他信息推薦給用戶。

實(shí)施的時(shí)候可以先建立一個(gè)大表，X軸是所有的推薦內(nèi)容，Y軸是所有的用戶。

然后我們將每個(gè)用戶感興趣的XY交叉點(diǎn)都標(biāo)出來(lái)。如圖可以看到對(duì)“穩(wěn)定性三十六計(jì)”感興趣的對(duì)“穩(wěn)定性寶典”感興趣的概率也很高。

歷史記錄對(duì)于穩(wěn)定性，也可以將其他同類系統(tǒng)作為用戶，將他們的問題作為推薦項(xiàng)進(jìn)行協(xié)同過濾分析，找到自身的可優(yōu)化點(diǎn)。系統(tǒng)出了問題需要分析原因時(shí)，事件追溯更是必不可少。

怎么做歷史記錄

日志

最常用的事件維度記錄是日志。有存于本地磁盤和集中式日志兩種。

本地磁盤日志就是將日志在程序中控制直接寫入本地磁盤。

集中式日志的架構(gòu)大同小異，基本結(jié)構(gòu)如下：

采集器負(fù)責(zé)采集數(shù)據(jù)，并發(fā)送給收集器。
收集器負(fù)責(zé)收集采集器發(fā)送過來(lái)的數(shù)據(jù)，并定時(shí)寫入集群。
存儲(chǔ)中心負(fù)責(zé)對(duì)數(shù)據(jù)分類、排序、去重，把同類型的數(shù)據(jù)合并。
分析和可視化平臺(tái)負(fù)責(zé)數(shù)據(jù)的展示。

以下是常用的數(shù)據(jù)收集系統(tǒng)的比較

產(chǎn)品	公司	優(yōu)勢(shì)	劣勢(shì)
Flume NG	Cloundera	1.支持故障轉(zhuǎn)移和負(fù)載均衡 2.容易水平擴(kuò)展 3.社區(qū)活躍、文檔豐富 4.依賴第三方類庫(kù)少 5.通過事務(wù)保證數(shù)據(jù)一致性 6.支持多種存儲(chǔ)	1.需要自己實(shí)現(xiàn)客戶端代碼 2.對(duì)數(shù)據(jù)的過濾能力差
Scribe	Facebook	1.具有很高的容錯(cuò)性 2.支持水平擴(kuò)展	1.依賴zookeeper或Hash等工具 2.需要自己實(shí)現(xiàn)客戶端代碼 3.社區(qū)活躍度低、文檔少 3.依賴第三方庫(kù)多 4.部署復(fù)雜 5.存儲(chǔ)系統(tǒng)類型少 6.數(shù)據(jù)過濾解析能力差 7.官方已經(jīng)停止更新和維護(hù)
Chukwa	Apache	1.高可靠 2.易擴(kuò)展 3.社區(qū)活躍度較高 4.文檔資料豐富	1.依賴hadoop
ELK	Elasic.co	1.提供完整的解決方案 2.支持集群部署和水平擴(kuò)展 3.社區(qū)活躍度高、文檔豐富 4.部署簡(jiǎn)單	1.占用資源比較高

ELK不是一款軟件，而是Elasticsearch、Logstash和Kibana首字母的縮寫。這三者是開源軟件，通常配合一起使用。而且先后歸于Elasic.co公司的名下，所以簡(jiǎn)稱ELK Stack。根據(jù)Google Trend的信息顯示，ELK已經(jīng)成為目前最流行的集中式日志解決方案。

Nosql

除了日志，任何有價(jià)值的歷史信息都是應(yīng)該存儲(chǔ)起來(lái)做分析的。這時(shí)候存儲(chǔ)就是關(guān)鍵。因?yàn)閿?shù)據(jù)量大，對(duì)強(qiáng)一致性沒有苛刻的要求。所以從成本上傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)不是首選。一般選擇Nosql數(shù)據(jù)庫(kù)。Nosql數(shù)據(jù)庫(kù)主要有四類：

1.key-value數(shù)據(jù)庫(kù)

項(xiàng)目	說(shuō)明
典型應(yīng)用場(chǎng)景	內(nèi)容緩存，主要用于處理大量數(shù)據(jù)的高訪問負(fù)載，也用于一些日志系統(tǒng)
數(shù)據(jù)模型	Key指向Value的鍵值對(duì)，通常用hash table實(shí)現(xiàn)
強(qiáng)項(xiàng)	查找速度快
弱項(xiàng)	數(shù)據(jù)無(wú)結(jié)構(gòu)，通常被當(dāng)做字符串或者二進(jìn)制數(shù)據(jù)
例子	Redis、Memcached

2.列式數(shù)據(jù)庫(kù)

項(xiàng)目	說(shuō)明
典型應(yīng)用場(chǎng)景	分布式的文件系統(tǒng)
數(shù)據(jù)模型	以列簇式存儲(chǔ)，將統(tǒng)一列數(shù)據(jù)存在一起
強(qiáng)項(xiàng)	查找速度快，可擴(kuò)展性強(qiáng)，更容易進(jìn)行分布式擴(kuò)展
弱項(xiàng)	功能相對(duì)局限
例子	Cassandra、HBase

3.文檔型數(shù)據(jù)庫(kù)

項(xiàng)目	說(shuō)明
典型應(yīng)用場(chǎng)景	Web應(yīng)用，Value是結(jié)構(gòu)化的，容易被解析
數(shù)據(jù)模型	KeyValue的鍵值對(duì)，Value為結(jié)構(gòu)化數(shù)據(jù)
強(qiáng)項(xiàng)	數(shù)據(jù)結(jié)構(gòu)要求不嚴(yán)格，表結(jié)構(gòu)可變、不需要預(yù)先定義表結(jié)構(gòu)
弱項(xiàng)	查詢性能不高，缺乏統(tǒng)一的查詢語(yǔ)法
例子	CouchDB、MongoDB、Elasticsearch

4.圖結(jié)構(gòu)數(shù)據(jù)庫(kù)

項(xiàng)目	說(shuō)明
典型應(yīng)用場(chǎng)景	社交網(wǎng)絡(luò)，推薦系統(tǒng)等。專注于構(gòu)建關(guān)系圖譜
數(shù)據(jù)模型	圖結(jié)構(gòu)
強(qiáng)項(xiàng)	利用圖結(jié)構(gòu)相關(guān)算法，比如最短路徑尋址，N讀關(guān)系查找等
弱項(xiàng)	需要再次計(jì)算出所需信息，不容易做分布式集群方案
例子	Neo4j、InfoGrid、Infinite Graph

時(shí)序數(shù)據(jù)庫(kù)

時(shí)序數(shù)據(jù)庫(kù)全稱為時(shí)間序列數(shù)據(jù)庫(kù)。時(shí)間序列數(shù)據(jù)庫(kù)主要用于指處理帶時(shí)間標(biāo)簽的數(shù)據(jù)。帶時(shí)間標(biāo)簽的數(shù)據(jù)也稱為時(shí)間序列數(shù)據(jù)。

基于時(shí)間序列數(shù)據(jù)的特點(diǎn)，關(guān)系型數(shù)據(jù)庫(kù)無(wú)法滿足對(duì)時(shí)間序列數(shù)據(jù)的有效存儲(chǔ)與處理，因此迫切需要一種專門針對(duì)時(shí)間序列數(shù)據(jù)來(lái)做優(yōu)化的數(shù)據(jù)庫(kù)系統(tǒng)，即時(shí)間序列數(shù)據(jù)庫(kù)。

目前行業(yè)內(nèi)比較流行的開源時(shí)序數(shù)據(jù)庫(kù)產(chǎn)品對(duì)比如下：

	InfluxData	Prometheus	Graphite	OpenTSDB
數(shù)據(jù)模型	labels	labels	dot-separated	label
按時(shí)間分段管理數(shù)據(jù)	??	??	??	手動(dòng)
分布式	??商業(yè)版	單機(jī)	單機(jī)	??
聚合分析	弱	弱	弱	弱
權(quán)限管理	??商業(yè)版	×	×	×
接口	類SQL	REST	REST	REST
社區(qū)生態(tài)	+++	++	++	++
時(shí)間序列分析	無(wú)	無(wú)	無(wú)	無(wú)
抽取日志指標(biāo)	×	×	×	×
Rollup	??	×	??	×