一、  Splunk公司與產(chǎn)品

美國(guó)Splunk公司，成立于2004年，2012年納斯達(dá)克上市，第一家大數(shù)據(jù)上市公司，榮獲眾多獎(jiǎng)項(xiàng)和殊榮。總部位于美國(guó)舊金山，倫敦為國(guó)際總部，香港設(shè)有亞太支持中心，上海設(shè)有海外第一個(gè)研發(fā)中心。

產(chǎn)品：Splunk Enterprise【企業(yè)版】、Splunk Free【免費(fèi)版】、Splunk Cloud、Splunk Hunk【大數(shù)據(jù)分析平臺(tái)】、Splunk Apps【基于企業(yè)版的插件】等。企業(yè)版按索引的數(shù)據(jù)量收費(fèi)，免費(fèi)版每天最大數(shù)據(jù)索引量500MB，可使用絕大多數(shù)企業(yè)版功能。

二、  Splunk能夠做什么

讓所有人均可訪問機(jī)器數(shù)據(jù)、讓機(jī)器數(shù)據(jù)對(duì)所有人有用并具有價(jià)值！Splunk是機(jī)器數(shù)據(jù)的引擎，使用Splunk可收集、索引和利用所有應(yīng)用程序、服務(wù)器和設(shè)備生成的快速移動(dòng)型計(jì)算機(jī)數(shù)據(jù)。使用Splunk處理計(jì)算機(jī)數(shù)據(jù)，可讓您在幾分鐘內(nèi)解決問題和調(diào)查安全事件；使用Splunk可以監(jiān)視您的端對(duì)端基礎(chǔ)結(jié)構(gòu)，避免服務(wù)性能降低或中斷；以較低成本滿足合規(guī)性要求；關(guān)聯(lián)并分析跨越多個(gè)系統(tǒng)的復(fù)雜事件，獲取新層次的運(yùn)營(yíng)可見性以及 IT 和業(yè)務(wù)智能。

每個(gè)環(huán)境都有獨(dú)特的機(jī)器數(shù)據(jù)空間，以下是一些示例：

三、  Splunk架構(gòu)與組件

架構(gòu)最下層：Splunk通過監(jiān)控文件和目錄、監(jiān)控網(wǎng)絡(luò)端口、運(yùn)行腳本的方式獲取數(shù)據(jù)。

Data Routing Cloningand and Load Balancing:數(shù)據(jù)復(fù)制與負(fù)載均衡，

Index：顧名思義，它跟索引有關(guān)，實(shí)際上他不僅僅負(fù)責(zé)為數(shù)據(jù)建立索引，還負(fù)責(zé)響應(yīng)查找索引數(shù)據(jù)的用戶請(qǐng)求，還有讀取數(shù)據(jù)和負(fù)責(zé)查找管理工作。雖然indexer可以在查找它本身的數(shù)據(jù)，但是，在多indexer的集群中，可以通過叫“search head”的組件來整合多個(gè)indexer，對(duì)外提供統(tǒng)一的查詢管理和服務(wù)。

Search:專用的搜索語言，原始事件搜索、報(bào)表生成搜索，并可在搜索中自動(dòng)學(xué)習(xí)“知識(shí)”，用戶也可以自定義知識(shí)，從而使搜索越來越智能。

最上面兩層：各類報(bào)表、告警，以命令行窗口，web圖形界面接口和其他接口。

Splunk的幾個(gè)重要組件：

索引器：索引器是用于為數(shù)據(jù)創(chuàng)建索引的Splunk Enterprise 實(shí)例。索引器將原始數(shù)據(jù)轉(zhuǎn)換為事件并將事件存儲(chǔ)至索引(Index)中。索引器還搜索索引數(shù)據(jù)，以響應(yīng)搜索請(qǐng)求。

搜索頭：在分布式搜索環(huán)境中，搜索頭是處理搜索管理功能、指引搜索請(qǐng)求至一組搜索節(jié)點(diǎn)，然后將結(jié)果合并返回至用戶的Splunk Enterprise 實(shí)例。如果該實(shí)例僅搜索不索引，通常被稱為專用搜索頭。

搜索節(jié)點(diǎn)：在分布式搜索環(huán)境中，搜索節(jié)點(diǎn)是建立索引并完成源自搜索頭搜索請(qǐng)求的Splunk Enterprise實(shí)例。

轉(zhuǎn)發(fā)器：轉(zhuǎn)發(fā)器是將數(shù)據(jù)轉(zhuǎn)發(fā)至另一個(gè)Splunk Enterprise 實(shí)例（索引器或另一個(gè)轉(zhuǎn)發(fā)器）或至第三方系統(tǒng)的Splunk Enterprise 實(shí)例。

接收器：接收器是經(jīng)配置從轉(zhuǎn)發(fā)器接收數(shù)據(jù)的Splunk Enterprise 實(shí)例。接收器為索引器或另一個(gè)轉(zhuǎn)發(fā)器。

應(yīng)用：應(yīng)用是配置、知識(shí)對(duì)象和客戶設(shè)計(jì)的視圖和儀表板的集合，擴(kuò)展Splunk Enterprise 環(huán)境以適應(yīng)Unix 或Windows 系統(tǒng)管理員、網(wǎng)絡(luò)安全專家、網(wǎng)站經(jīng)理、業(yè)務(wù)分析師等組織團(tuán)隊(duì)的特定需求。單個(gè)Splunk Enterprise 安裝可以同時(shí)運(yùn)行多個(gè)應(yīng)用。

四、  Splunk分布式部署

如果系統(tǒng)平臺(tái)比較大，產(chǎn)生的數(shù)據(jù)量比較大，那么可以不斷擴(kuò)展splunk集群，splunk具備這種擴(kuò)展能力。用戶可以部署任意多個(gè)forwarder，用來轉(zhuǎn)發(fā)剛剛產(chǎn)生的原始數(shù)據(jù)。Indexer也可以部署成為一個(gè)集群，統(tǒng)一下層提供接收原始數(shù)據(jù)、建立索引的服務(wù)，對(duì)上層提供搜索的服務(wù)。用戶還可以部署多臺(tái)用于搜索的Search Header。所以，用戶可以根據(jù)自己平臺(tái)的實(shí)際工作量來部署自己的splunck集群大小。

五、  Splunk的安裝

Splunk支持在各類操作系統(tǒng)上安裝，下面以Linux系統(tǒng)安裝為例：

1、上傳splunk安裝包splunk-6.4.2-00f5bb3fa822-Linux-x86_64.tgz至/opt目錄。

2、解壓安裝壓縮包

/tar –zxvf splunk-6.4.2-00f5bb3fa822-Linux-x86_64.tgz  //解壓，解壓異常請(qǐng)注意文件上傳是否正確。

3、進(jìn)入splunk命令文件夾（bin）

cd  /opt/splunk/bin   //進(jìn)入splunk  bin目錄

4、檢查splunk狀態(tài)

./splunk status  //檢查splunk狀態(tài)是否正常，第一次會(huì)彈出license告知，按提示點(diǎn)擊確定

5、啟動(dòng)splunk

./splunk   start   //啟動(dòng)splunk

./splunk   status  //檢查啟動(dòng)狀態(tài)

6、Splunk默認(rèn)web登陸端口是8000，在瀏覽器中http://ip:8000，可第一次登陸，如果無法登陸請(qǐng)檢查本機(jī)防火墻。

默認(rèn)用戶名：admin，密碼：changeme，第一次登陸成功后要求重置密碼。

7、設(shè)置splunk開機(jī)啟動(dòng)

./splunk  enable  boot-start

8、查看splunk進(jìn)程信息

ps –f | grep splunk

六、  Splunk卸載

1、進(jìn)入splunk文件夾

cd /opt/splunk/bin  

2、檢查splunk狀態(tài)

./splunk  status

3、關(guān)閉splunk服務(wù)

/splunk  stop

4、刪除splunk安裝目錄

rm –rf  /opt/splunk

七、  Splunk基本配置

所有的設(shè)置基本上都可以通過Web頁面和splunk CLI命令兩種方式。

1、Web頁面：

可修改splunk主機(jī)名、管理端口、web登陸端口，修改后需重啟splunk生效。

2、CLI命令

./splunk start    //啟動(dòng)

./splunk stop   //關(guān)閉

./splunk restart  //重啟

./splunk status   //查看狀態(tài)

./splunk version   //查看版本

  ./splunk show splunkd-port  //查看管理端口

  ./splunk show web-port   //查看web登陸管理端口

./splunk set web-port 80  //修改web登陸管理端口為80

./splunk set servername     //新的服務(wù)器名稱 //設(shè)置服務(wù)器名稱

./splunk set default-hostname   新的主機(jī)名稱 //設(shè)置默認(rèn)主機(jī)名稱

./splunk enable web-ssl      //啟用SSL

./splunk disable web-ssl     //關(guān)閉SSL

./splunk edit user admin –password 'newpassword’ –authadmin:oldpassword     //修改用戶密碼

./splunk add user   //新增用戶

./splunk add user 新的用戶名 -password '新用戶密碼’ -full-name '設(shè)置它的全名’ –role User（這個(gè)是角色）

./splunk list user    //列出用戶

./splunk remove user     //刪除用戶

八、  簡(jiǎn)單應(yīng)用實(shí)例——手工添加數(shù)據(jù)

1、點(diǎn)擊Splunk首頁——添加數(shù)據(jù)——上載

2、選擇要上傳的文件，按提示點(diǎn)擊確定

3、上傳完成后，splunk會(huì)自動(dòng)生成字段，也可以按需要根據(jù)“正則表達(dá)式”或“分隔符”自己提取字段

4、可以根據(jù)需要進(jìn)行各類搜索、計(jì)算，如何搜索需要學(xué)習(xí)splunk的SPL搜索語言，推薦閱讀《Splunk實(shí)踐指南_》

九、  簡(jiǎn)單應(yīng)用實(shí)例——監(jiān)控splunk本地的數(shù)據(jù)

1、點(diǎn)擊splunk首頁——添加數(shù)據(jù)——監(jiān)視——文件和目錄

2、選擇“瀏覽”，添加需要監(jiān)控的本地目錄，索引、目錄都可以先選擇默認(rèn)，在稍后在做具體解釋。

3、添加完成后，實(shí)時(shí)監(jiān)視文件變化，也可以進(jìn)行搜索了。

十、  簡(jiǎn)單應(yīng)用實(shí)例——監(jiān)控遠(yuǎn)程服務(wù)器數(shù)據(jù)

可以通過syslog或splunk通用轉(zhuǎn)發(fā)器，把遠(yuǎn)程服務(wù)器的數(shù)據(jù)傳到splunk服務(wù)器進(jìn)行監(jiān)視，下面重點(diǎn)介紹splunk通用轉(zhuǎn)發(fā)器的使用。

（一）、splunkforwarder安裝與配置

1、在需要收集日志的服務(wù)器上安裝splunkforwarder

2、切換至splunkforwarder的可執(zhí)行目錄（bin）,啟用轉(zhuǎn)發(fā)器

./splunk start  //根據(jù)提醒點(diǎn)確定

3、查看通用轉(zhuǎn)發(fā)器的端口(默認(rèn)用戶名：admin、密碼：changeme)

./splunk show splunkd-port

4、修改通用轉(zhuǎn)發(fā)器的密碼

/splunk edit user admin -password '新密碼’ -role admin -auth admin:changeme

（二）、下面我們將遠(yuǎn)程服務(wù)器的 /var/log/audit/發(fā)給splunk

1、先到splunk上為這個(gè)實(shí)例創(chuàng)建一個(gè)索引，使用默認(rèn)索引也可以，但建議為主要應(yīng)用創(chuàng)建各自的索引

通過命令創(chuàng)建索引（也可以通過web頁面創(chuàng)建）

./splunk add index linux_audit

2、在splunkforwarder服務(wù)器上添加一個(gè)監(jiān)控項(xiàng)

./splunk add monitor /var/log/audit –index linux_audit

3.添加splunk接收服務(wù)器和接口

./splunk add forward-server 192.168.40.129:9997

4.查看轉(zhuǎn)發(fā)服務(wù)器

./splunk list forward-server

5.splunk服務(wù)器上檢查開啟監(jiān)聽端口

./splunk enable listen 要啟用的端口號(hào) // 開啟splunk接收的指定端口

./splunk disable listen 要禁用的端口號(hào) // 關(guān)閉splunk接收的指定端口

./splunk display listen // 顯示已啟用的splunk接收的端口

（三）、登陸Web頁面，查看搜索

1、index=“l(fā)inux_audit”(支持命令的自動(dòng)補(bǔ)全)

十一、    利用Splunk搭建SOC平臺(tái)

收集一切可以收集的數(shù)據(jù)（IDS、出入口流量、防病毒、端口掃描等各類信息安全軟件、工具的日志），利用Splunk進(jìn)行監(jiān)控、告警、根據(jù)需要快速搜索、生成報(bào)表，舉例如下：

1、通過Security Onion App for Splunk software，監(jiān)控出入口網(wǎng)絡(luò)流（包括IDS威脅監(jiān)控、外網(wǎng)開放端口監(jiān)控、各協(xié)議的連接監(jiān)控……）

2、外網(wǎng)IP開放端口掃描

Nmap掃描日志自動(dòng)上傳至Splunk，在儀表盤中制定關(guān)注的面板（如高危端口開放展示等）。