ELK日志分析集群部署筆記

WindySky 2016-06-24

展開全文

ELK是什么？
E=ElasticSearch ，一款基于的Lucene的分布式搜索引擎，我們熟悉的github，就是由ElastiSearch提供的搜索，據(jù)傳已經(jīng)有10TB+的數(shù)據(jù)量。
L=LogStash ，一款分布式日志收集系統(tǒng)，支持多輸入源，并內(nèi)置一些過濾操作，支持多輸入元
K=Kibana ，一款配合ElasticSearch的web可視化界面，內(nèi)置非常各種查詢，聚合操作，并擁有漂亮的圖形化展示功能

為什么要用ELK？

在實際應(yīng)用中，我們的日志是非常重要的，它通常會記錄一些比較重要的信息，如應(yīng)用程序的log記錄的error，warn級別的log，通常在量小的情況下，我們可以直接vi+awk+sed+grep定位原因，在量大的時候，這種方式就捉襟見肘了，而且我們還要各種聚合，或者基于異常多個關(guān)鍵詞的搜索，并有且，或，交，并，差，補，排序等一些操作，而且相應(yīng)速度必須給力，如果線上環(huán)境出了故障，能夠立刻準確定位，ELK就是高手，在百萬大軍中取上將首級，猶如探囊取物，所以這時候ELK就非常適合了，當然除此之外，ELK也經(jīng)常在運維工作中大放光彩，在應(yīng)用級別的實時監(jiān)控，非常適合一些重要核心服務(wù)的預警。

ELK如何安裝搭建？

環(huán)境要求：
Linux系統(tǒng)：Centos6.5

[iyunv@ELK-Server ~]# cat /etc/redhat-release
CentOS release 6.5 (Final)

Java版本：JDK1.8
[iyunv@ELK-Server ~]# java -version

openjdk version "1.8.0_51"
OpenJDK Runtime Environment (build 1.8.0_51-b16)
OpenJDK 64-Bit Server VM (build 25.51-b03, mixed mode)

ELK均為最新版本：

（1）ElasticSearch1.7.2 基于Lucene4.10.4的版本

（2）Logstash1.5.4

（3）Kibana4.1.2

集群拓撲：

ElasticSearch 3臺機器：
集群名：search
機器名+es節(jié)點名    =>       ip地址
h1                =>       192.168.1.120
h2                =>       192.168.1.121
h3                =>       192.168.1.122

Logstash 192.168.1.120
Kibana    192.168.1.120

下載：
elasticsearch： wget  https://download./elas ... search-1.7.3.tar.gz
logstash    ： wget  https://download./logs ... gstash-1.5.4.tar.gz
kibana       ： wget  https://download./kiba ... .2-linux-x64.tar.gz

一：安裝elasticsearch集群：

（1）解壓到指定目錄
（2）配置elasticsearch.yml里面，集群名字和節(jié)點名字，如果不配置默認集群名為elasticsearch，節(jié)點名隨機生成一個
（3）在線安裝head和bigdisk插件
直接在elasticsearch的根目錄下，分別輸入：
bin/plugin --install mobz/elasticsearch-head  安裝head
bin/plugin --install lukas-vlcek/bigdesk  安裝bigdesk

（4）scp分發(fā)安裝完畢后的elasticsearch
（5）依次啟動各個機器上的elasticsearch

如果啟動時遇到以下報錯信息：
[iyunv@localhost elasticsearch]# ./bin/elasticsearch
{1.7.3}: Initialization Failed ...
- RuntimeException[Java version: 1.7.0_45 suffers from critical bug https://bugs.openjdk./browse/JDK-8024830 which can cause data corruption.
Please upgrade the JVM, see http://www./guide/en/e ... /_installation.html for current recommendations.
If you absolutely cannot upgrade, please add -XX:-UseSuperWord to the JVM_OPTS environment variable.
Upgrading is preferred, this workaround will result in degraded performance.]

解決方法：

# yum -y install java-1.8.0*

# yum remove java

查看下java版本號：是否是1.8.0（因為最新版elasticsearch需要最新的java支持）

[iyunv@localhost elasticsearch]# java -version
openjdk version "1.8.0_71"
OpenJDK Runtime Environment (build 1.8.0_71-b15)
OpenJDK 64-Bit Server VM (build 25.71-b15, mixed mode)

（6）head顯示如下：