Elasticsearch 可以通過(guò)快照命令對(duì)索引或者整個(gè)集群進(jìn)行快照和恢復(fù)，第一個(gè)快照會(huì)是一個(gè)數(shù)據(jù)的完整拷貝，但是所有后續(xù)的快照只存儲(chǔ)已存快照和新數(shù)據(jù)之間的差異。這意味著后續(xù)備份會(huì)相當(dāng)快速，因?yàn)樗鼈冎粋鬏敽苄〉臄?shù)據(jù)量。

快照和恢復(fù)模塊允許創(chuàng)建單個(gè)索引或者整個(gè)集群的快照到各種各樣的后臺(tái)倉(cāng)庫(kù)，本文主要介紹將快照存儲(chǔ)到共享文件系統(tǒng)。

在共享文件系統(tǒng)上創(chuàng)建快照需要執(zhí)行以下步驟：

1. 創(chuàng)建集群的共享目錄；

2. 修改ES配置，添加對(duì)共享目錄的設(shè)置；

3. 創(chuàng)建備份倉(cāng)庫(kù)；

4. 創(chuàng)建快照；

5. 查看快照狀態(tài)；

6. 必要時(shí)從快照恢復(fù)數(shù)據(jù)。

2. 通過(guò) NFS 設(shè)置共享目錄

NFS 文件共享能解決在集群環(huán)境下圖片、附件等文件共享的問(wèn)題，這里主要用于創(chuàng)建搜索集群的快照共享文件夾。

2.1 角色分配

2.2 配置 NFS 服務(wù)端

以下操作只在zk-master01(192.168.1.190)上執(zhí)行。

2.2.1 檢查安裝 NFS 服務(wù)

rpm -qa|grep nfs
rpm -qa|grep rpcbind
1
2

如果組件沒(méi)有安裝，請(qǐng)執(zhí)行下面的命令進(jìn)行安裝：

yum install nfs-utils rpcbind
1

2.2.2 設(shè)置開(kāi)機(jī)自動(dòng)啟動(dòng)

CentOS 6 可以通過(guò)下面的命令設(shè)置開(kāi)機(jī)啟動(dòng)服務(wù)：

chkconfig nfs onchkconfig rpcbind on
1
2

CentOS 7 可以通過(guò)下面命令設(shè)置開(kāi)機(jī)自動(dòng)啟動(dòng)：

systemctl enable rpcbind.service    
systemctl enable nfs-server.service
1
2

2.2.3 啟動(dòng)服務(wù)

CentOS 6 執(zhí)行下面命令：

service rpcbind startservice nfs start
1
2

CentOS 7 執(zhí)行下面命令：

systemctl start rpcbind.service    
systemctl start nfs-server.service 
1
2

2.2.4 創(chuàng)建共享目錄

mkdir /data/elastic/bak/backup_es# 由于備份程序是ES進(jìn)程進(jìn)行創(chuàng)建，因此設(shè)置目錄的擁有者為啟動(dòng)ES程序的用戶chown -R luculent /data/elastic/bak/backup_es
1
2
3

2.2.5 修改配置文件

vi /etc/exports# 添加下面語(yǔ)句/data/elastic/bak/backup_es *(rw,sync,no_root_squash,no_subtree_check)
1
2
3

• * ：允許所有的網(wǎng)段訪問(wèn)

• rw ：讀寫權(quán)限

• sync：資料同步寫入內(nèi)在和硬盤

• no_root_squash：nfs客戶端共享目錄使用者權(quán)限

更多配置詳情如下所示：

ro                  只讀訪問(wèn)  
rw                  讀寫訪問(wèn)sync 所有數(shù)據(jù)在請(qǐng)求時(shí)寫入共享  
async nfs           在寫入數(shù)據(jù)前可以響應(yīng)請(qǐng)求  
secure nfs          通過(guò)1024以下的安全TCP/IP端口發(fā)送  
insecure nfs        通過(guò)1024以上的端口發(fā)送  
wdelay              如果多個(gè)用戶要寫入nfs目錄，則歸組寫入(默認(rèn))  no_wdelay           如果多個(gè)用戶要寫入nfs目錄，則立即寫入，當(dāng)使用async時(shí)，無(wú)需此設(shè)置。      
hide                在nfs共享目錄中不共享其子目錄  
no_hide             共享nfs目錄的子目錄  
subtree_check       如果共享/usr/bin之類的子目錄時(shí)，強(qiáng)制nfs檢查父目錄的權(quán)限(默認(rèn))  no_subtree_check    和上面相對(duì)，不檢查父目錄權(quán)限  
all_squash          共享文件的UID和GID映射匿名用戶anonymous，適合公用目錄。  
no_all_squash       保留共享文件的UID和GID(默認(rèn))  root_squash         root用戶的所有請(qǐng)求映射成如anonymous用戶一樣的權(quán)限(默認(rèn))  no_root_squas       root用戶具有根目錄的完全管理訪問(wèn)權(quán)限  
anonuid=xxx         指定nfs服務(wù)器/etc/passwd文件中匿名用戶的UID  
anongid=xxx         指定nfs服務(wù)器/etc/passwd文件中匿名用戶的GID 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

2.2.6 刷新配置立即生效

# 刷新配置使得修改立刻生效exportfs -a# 查看可掛載目錄showmount -e 192.168.1.190
1
2
3
4
5

2.3 配置客戶端

以下指令在zk-slaver01(192.168.1.224)和zk-slaver02(192.168.1.48)上執(zhí)行。

請(qǐng)執(zhí)行配置服務(wù)端的 1-4步驟；NFS 安裝部署完成后，啟動(dòng) NFS，創(chuàng)建備份文件夾。

2.3.5 掛載目錄

# 查看可掛載目錄showmount -e 192.168.1.190# 掛載mount -t nfs 192.168.1.190:/data/elastic/bak/backup_es /data/elastic/bak/backup_es
1
2
3
4
5

2.3.6 設(shè)置開(kāi)機(jī)自動(dòng)掛載

# 查看當(dāng)前掛載df -h# 設(shè)置開(kāi)機(jī)自動(dòng)掛載vi /etc/fstab
192.168.1.190:/data/elastic/bak/backup_es /data/elastic/bak/backup_es nfs defaults 0 0
1
2
3
4
5
6

3. 修改 ES 配置

配置完共享目錄后，需要修改 ES 配置，并重啟 ES 使其生效。

# 在 elasticsearch.yml 中添加下面配置來(lái)設(shè)置備份倉(cāng)庫(kù)路徑path.repo: ["/data/elastic/bak/backup_es"]
1
2

4. 創(chuàng)建備份倉(cāng)庫(kù)

4.1 打開(kāi)快照管理界面

ES 插件 kopf 提供了圖形化的界面來(lái)創(chuàng)建管理快照，安裝 kopf 插件的集群直接訪問(wèn)：http://es-ip:9200/_plugin/kopf/#!/snapshot即可進(jìn)入快照管理界面。

當(dāng)然也可以通過(guò)點(diǎn)擊菜單進(jìn)入界面。

4.2 創(chuàng)建備份倉(cāng)庫(kù)

在快照界面左側(cè)的文本框添加備份倉(cāng)庫(kù)信息后點(diǎn)擊create按鈕即可完成創(chuàng)建，各個(gè)文本框字段的作用：

• repository name：倉(cāng)庫(kù)名稱

• type：請(qǐng)務(wù)必選擇fs

• location：請(qǐng)?zhí)顚懝蚕砟夸浢?code style="box-sizing: border-box; outline: 0px; margin: 0px; padding: 2px 4px; font-family: "Source Code Pro", "DejaVu Sans Mono", "Ubuntu Mono", "Anonymous Pro", "Droid Sans Mono", Menlo, Monaco, Consolas, Inconsolata, Courier, monospace, "PingFang SC", "Microsoft YaHei", sans-serif; font-size: 14px; line-height: 22px; color: rgb(199, 37, 78); background-color: rgb(249, 242, 244); border-radius: 2px; word-wrap: break-word;">/data/elastic/bak/backup_es

• max_restore_bytes_per_sec：數(shù)據(jù)恢復(fù)時(shí)速度限制，默認(rèn)（40m/s）

• max_snapshot_bytes_per_sec：創(chuàng)建備份復(fù)時(shí)速度限制，默認(rèn)（40m/s）

• chunk_size：分片大小，默認(rèn)不限制

• compress：是否啟用壓縮

當(dāng)然也可以通過(guò) REST 客戶端執(zhí)行下面請(qǐng)求來(lái)創(chuàng)建備份倉(cāng)庫(kù)。

POST _snapshot/es_bak_20180710{
  "type": "fs",  "settings": {"location": "/data/elastic/bak/backup_es",    "max_restore_bytes_per_sec": "50mb",    "max_snapshot_bytes_per_sec": "50mb",    "compress": true
  }}
1
2
3
4
5
6
7
8
9
10

5. 創(chuàng)建快照

5.1 創(chuàng)建快照

在快照界面右側(cè)的snapshot name文本框填寫快照名稱，repository選擇剛才創(chuàng)建的倉(cāng)庫(kù)es_bak_20180710；ignore_unavailable勾選true；include_global_state勾選false；最后選擇需要參與備份的索引（不選擇表示全部索引，按住ctrl鍵可以進(jìn)行多選），點(diǎn)擊create按鈕即可創(chuàng)建快照。

當(dāng)然也可以通過(guò) REST 客戶端執(zhí)行下面請(qǐng)求來(lái)創(chuàng)建快照。

POST _snapshot/es_bak_20180710/ss_2018_07_10{
  "indices": "img_face,lk_other",  "include_global_state": false,  "ignore_unavailable": true}
1
2
3
4
5
6

5.2 查看快照

直接在地址欄訪問(wèn)下面的地址即可查看ss_2018_07_10快照的信息。

http://es-ip:9200/_snapshot/es_bak_20180710/ss_2018_07_10
1

等待一段時(shí)間重新訪問(wèn)，提示創(chuàng)建成功。

6. 從快照恢復(fù)

# 全部恢復(fù)POST /_snapshot/my_backup/snapshot_1/_restore# 恢復(fù)指定的索引POST /_snapshot/my_backup/snapshot_1/_restore{
  "indices": "index_1,index_2",  "ignore_unavailable": true,  "include_global_state": false,  "rename_pattern": "index_(.+)",  "rename_replacement": "restored_index_$1",  "index_settings": {"index.number_of_replicas": 0  },  "ignore_index_settings": ["index.refresh_interval"
  ]}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18