|
Logstash
官方文檔地址：http:///docs/1.4.2/tutorials/getting-started-with-logstash logstash介紹參考自： http://www./cn/articles/review-the-logstash-book http://storysky.blog.51cto.com/628458/1158707/ What it is ：Jruby編寫(xiě)的開(kāi)源日志管理項(xiàng)目 Why use it: LogStash架構(gòu)專為收集、分析和存儲(chǔ)日志所設(shè)計(jì)。 組合使用： LogStash使用一個(gè)開(kāi)源Key/Value數(shù)據(jù)庫(kù)Redis，用于在索引前隊(duì)列化日志。同時(shí)還使用Elasticsearch索引化、存儲(chǔ)日志，并作為查看系統(tǒng)的后端，使用kibana作為頁(yè)面前端顯示。 
注： Redis不做存儲(chǔ)（keys * 沒(méi)有緩存信息） Elasticsearch會(huì)做索引并且本地存儲(chǔ)，所以即使關(guān)閉elasticsearch，如果沒(méi)有清空存儲(chǔ)的話，下次啟動(dòng)還是會(huì)有原來(lái)的日志信息的。 Logstash 默認(rèn)是從啟動(dòng)之后開(kāi)始讀取日志信息，即如果讀取的日志文件中有之前的日志（但是在logstash啟動(dòng)之前的，logstash是不做讀取的）。如果logstash在啟動(dòng)之后停止了，之后啟動(dòng)時(shí)停止期間的日志也是不會(huì)被讀取的。 Elasticsearch 清理索引信息：http://storysky.blog.51cto.com/628458/1179906 開(kāi)始： 1、安裝 2、編寫(xiě)配置文件 3、組合redis、elasticsearch 安裝： curl -O https://download./logstash/logstash/logstash-1.4.2.tar.gz tar zxvf logstash-1.4.2.tar.gz logstash是開(kāi)箱即用的軟件，類似于windows上的免安裝的綠色版本。 Logstash解壓縮之后的目錄結(jié)構(gòu) 
命令行輸如入/出測(cè)試： Java代碼
stdin ：命令行參數(shù)輸入 stdout：命令行輸出。 -e默認(rèn)以后面給定字符作為配置（不啟用.conf的配置文件） 詳細(xì)安裝啟動(dòng)過(guò)程參考：http://storysky.blog.51cto.com/628458/1158707/ ps: 最新版本的logstash中是默認(rèn)內(nèi)置了kibana和elasticsearch的 Elasticsearch ElasticSearch 是構(gòu)建在Apache Lucene之上的的搜索引擎服務(wù)，開(kāi)源（Apache2協(xié)議），分布式，提供RESTful風(fēng)格支持。 http://www./1368777378160.html Logstash命令行默認(rèn)參數(shù) 
特殊案例說(shuō)明: 1、刪除全部日志文件之后是否還能夠保存數(shù)據(jù) logstash不提供存儲(chǔ)功能，redis只做隊(duì)列處理，不做緩存，elasticsearch做索引、本地持久化處理，因此，只要elasticsearch未停止，日志信息是不會(huì)丟失的。 elasticsearch提供了清理索引的接口： # curl -XDELETE 'http://172.16.1.16:9200/logstash-2013.03.*' 清理掉了所有 3月份的索引文件 主頁(yè)上的詳細(xì)介紹， http://www./guide/reference/api/delete/ 2、logstash重啟之后是否能夠保存數(shù)據(jù) logstash重啟之后，停止期間的日志信息是不會(huì)讀取的。 http://chenryn./logstash-best-practice/ https://github.com/chenryn/logstash-best-practice-cn In the end. 謝謝我的同事偉航，幫助的整理。 |
|
|
來(lái)自： 風(fēng)_宇星 > 《日志分析統(tǒng)計(jì)》
