一 前言
大家對(duì)于MySQL的邏輯備份工具mysqldump應(yīng)該都比較了解，相對(duì)于mysqldump，本文介紹一款由MySQL ,Facebook 等公司的開(kāi)發(fā)維護(hù)另外一套邏輯備份恢復(fù)工具---mydumper/myloader目前已經(jīng)開(kāi)發(fā)到0.9.1
版本。
mydumper 具有如下特性
1 支持多線程導(dǎo)出數(shù)據(jù)，速度比mysqldump快。
2 支持一致性備份，使用FTWRL(FLUSH TABLES WITH READ LOCK)會(huì)阻塞DML語(yǔ)句,保證備份數(shù)據(jù)的一致性。
3 支持將導(dǎo)出文件壓縮，節(jié)約空間。
4 支持多線程恢復(fù)。
5 支持以守護(hù)進(jìn)程模式工作，定時(shí)快照和連續(xù)二進(jìn)制日志
6 支持按照指定大小將備份文件切割。
7 數(shù)據(jù)與建表語(yǔ)句分離。
二 原理
參考一張圖 介紹mydumper的工作原理
mydumper的主要工作步驟
1 主線程 FLUSH TABLES WITH READ LOCK, 施加全局只讀鎖，以阻止DML語(yǔ)句寫(xiě)入，保證數(shù)據(jù)的一致性
2 讀取當(dāng)前時(shí)間點(diǎn)的二進(jìn)制日志文件名和日志寫(xiě)入的位置并記錄在metadata文件中，以供即使點(diǎn)恢復(fù)使用
3 START TRANSACTION WITH CONSISTENT SNAPSHOT; 開(kāi)啟讀一致事務(wù)
4 啟用N個(gè)（線程數(shù)可以指定，默認(rèn)是4）dump線程導(dǎo)出表和表結(jié)構(gòu)
5 備份非事務(wù)類型的表
6 主線程 UNLOCK TABLES，備份完成非事務(wù)類型的表之后，釋放全局只讀鎖
7 dump InnoDB tables, 基于事物導(dǎo)出InnoDB表
8 事物結(jié)束
三 安裝使用
3.1 安裝
mydumper 基于c語(yǔ)言編寫(xiě)，需要編譯安裝，因此需要安裝編譯工具。
-
yum install glib2-devel mysql-devel zlib-devel
pcre-devel zlib gcc-c++ gcc
cmake -y
-
wget https://launchpadlibrarian.net/225370879/mydumper-0.9.1.tar.gz
-
tar xf mydumper-0.9.1.tar.gz
-
cd mydumper-0.9.1/
-
cmake .
-
make && make install
-
# cmake .
-
-- Using mysql-config: /opt/mysql/bin/mysql_config
-
-- Found MySQL: /opt/mysql/include, /usr/lib64/libperconaserverclient.so;/usr/lib64/libpthread.so;/usr/lib64/libm.so;/usr/lib64/librt.so;/usr/lib64/libdl.so
-
-- Found ZLIB: /usr/lib64/libz.so (found
version "1.2.3")
-
-- Found PkgConfig: /usr/bin/pkg-config (found
version "0.23")
-
-- checking for one of the
modules 'glib-2.0'
-
-- checking for one of the
modules 'gthread-2.0'
-
-- checking for module 'libpcre'
-
-- found libpcre, version 7.8
-
-- Found PCRE: /usr/include
-
CMake Warning at docs/CMakeLists.txt:9 (message):
-
Unable to find Sphinx documentation generator
-
-- ------------------------------------------------
-
-- MYSQL_CONFIG = /opt/mysql/bin/mysql_config
-
-- CMAKE_INSTALL_PREFIX = /usr/local
-
-- BUILD_DOCS = ON
-
-- WITH_BINLOG = OFF
-
-- RUN_CPPCHECK = OFF
-
-- Change a values with: cmake -D<Variable>=<Value>
-
-- ------------------------------------------------
-
--
-
-- Configuring done
-
-- Generating done
-
-- Build files have been written to: /root/mydumper-0.9.1
-
# make
-
Scanning dependencies of target mydumper
-
[ 25%] Building C object CMakeFiles/mydumper.dir/mydumper.c.o
-
[ 50%] Building C object CMakeFiles/mydumper.dir/server_detect.c.o
-
[ 75%] Building C object CMakeFiles/mydumper.dir/g_unix_signal.c.o
-
Linking C executable mydumper
-
[ 75%] Built target mydumper
-
Scanning dependencies of target myloader
-
[100%] Building C object CMakeFiles/myloader.dir/myloader.c.o
-
Linking C executable myloader
-
[100%] Built target myloader
-
# make install
-
[ 75%] Built target mydumper
-
[100%] Built target myloader
-
Linking C executable CMakeFiles/CMakeRelink.dir/mydumper
-
Linking C executable CMakeFiles/CMakeRelink.dir/myloader
-
Install the project...
-
-- Install configuration: ""
-
-- Installing: /usr/local/bin/mydumper
-
-- Installing: /usr/local/bin/myloader
安裝好之后 ，會(huì)生成兩個(gè)文件：
/usr/local/bin/mydumper
/usr/local/bin/myloader
注意:
-
一般會(huì)遇到找不到 mysql-libraries 的問(wèn)題，可以參考 stackoverflow 的回答，如果再解決不了，則可能是自己制定的MySQL安裝目錄的問(wèn)題，比如我自己的安裝目錄是/opt/mysql/
-
則需要做一個(gè)軟連接
-
ln -s /opt/mysql/lib/libperconaserverclient.so /usr/lib64/libperconaserverclient.so
3.2 參數(shù)說(shuō)明
mydumper 的常用參數(shù)
-
-B, --database
要導(dǎo)出的dbname
-
-T, --tables-list
需要導(dǎo)出的表名,導(dǎo)出多個(gè)表需要逗號(hào)分隔，t1[,t2,t3 ....]
-
-o, --outputdir
導(dǎo)出數(shù)據(jù)文件存放的目錄，mydumper會(huì)自動(dòng)創(chuàng)建
-
-s, --statement-size 生成插入語(yǔ)句的字節(jié)數(shù), 默認(rèn)1000000字節(jié)
-
-r, --rows
Try to split tables into chunks of this many rows. This option turns
off --chunk-filesize
-
-F, --chunk-filesize
切割表文件的大小，默認(rèn)單位是 MB ，如果表大于
-
-c, --compress
壓縮導(dǎo)出的文件
-
-e, --build-empty-files
即使是空表也為表創(chuàng)建文件
-
-x, --regex
使用正則表達(dá)式匹配 db.table
-
-i, --ignore-engines
忽略的存儲(chǔ)引擎，多個(gè)值使用逗號(hào)分隔
-
-m, --no-schemas
只導(dǎo)出數(shù)據(jù)，不導(dǎo)出建庫(kù)建表語(yǔ)句
-
-d, --no-data
僅僅導(dǎo)出建表結(jié)構(gòu)，創(chuàng)建db的語(yǔ)句
-
-G, --triggers
導(dǎo)出觸發(fā)器
-
-E, --events
導(dǎo)出events
-
-R, --routines
導(dǎo)出存儲(chǔ)過(guò)程和函數(shù)
-
-k, --no-locks
不執(zhí)行臨時(shí)的只讀鎖，會(huì)導(dǎo)致備份不一致 。WARNING: This will cause inconsistent backups
-
--less-locking 最小化在innodb表上的鎖表時(shí)間 --butai
-
-l, --long-query-guard
設(shè)置長(zhǎng)時(shí)間執(zhí)行的sql 的時(shí)間標(biāo)準(zhǔn)
-
-K, --kill-long-queries
將長(zhǎng)時(shí)間執(zhí)行的sql kill
-
-D, --daemon
以守護(hù)進(jìn)程的方式執(zhí)行
-
-I, --snapshot-interval
創(chuàng)建導(dǎo)出快照的時(shí)間間隔，默認(rèn)是 60s ，該參數(shù)只有在守護(hù)進(jìn)程執(zhí)行的時(shí)候有用。
-
-L, --logfile
指定mydumper輸出的日志文件，默認(rèn)使用控制臺(tái)輸出。
-
--tz-utc SET TIME_ZONE='+00:00' at
top of dump to allow dumping of TIMESTAMP data when a server has data in different
time zones or data is being moved between servers with different time zones, defaults to on use --skip-tz-utc
to disable.
-
--skip-tz-utc
-
--use-savepoints 使用savepoints 減少M(fèi)DL 鎖事件 需要 SUPER 權(quán)限
-
--success-on-1146 Not increment
error count and Warning instead of Critical in case of table
doesn
myloader使用參數(shù)
-
-d, --directory
備份文件的文件夾
-
-q, --queries-per-transaction
每次事物執(zhí)行的查詢數(shù)量，默認(rèn)是1000
-
-o, --overwrite-tables
如果要恢復(fù)的表存在，則先drop掉該表，使用該參數(shù)，需要備份時(shí)候要備份表結(jié)構(gòu)
-
-B, --database
需要還原的數(shù)據(jù)庫(kù)
-
-e, --enable-binlog
啟用還原數(shù)據(jù)的二進(jìn)制日志
-
-h, --host
The host to connect to
-
-u, --user
Username with privileges to run the dump
-
-p, --password
User password
-
-P, --port
TCP/IP port to connect to
-
-S, --socket
UNIX domain socket file to use for connection
-
-t, --threads
還原所使用的線程數(shù)，默認(rèn)是4
-
-C, --compress-protocol
壓縮協(xié)議
-
-V, --version
顯示版本
-
-v, --verbose
輸出模式, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默認(rèn)為2
四 使用方法
#導(dǎo)出整個(gè)庫(kù)
-
mydumper -u root -S /srv/my3308/run/mysql.sock -B
trade_platform -o /data/trade_platform
#僅僅導(dǎo)出platform的ddl語(yǔ)句不包含數(shù)據(jù)到指定的目錄 /data/platform
-
mydumper -u root -S /srv/my3308/run/mysql.sock -B
platform -m -o /data/platform
#以壓縮的方式導(dǎo)出的文件
-
mydumper -u root -S /srv/my3308/run/mysql.sock -B
trade_platform -c -o /data/trade_platform
備份文件以.gz 的格式壓縮
-
#ls
-
metadata trade_platform.config.sql.gz trade_platform.trade_order-schema.sql.gz
-
trade_platform.config-schema.sql.gz
trade_platform-schema-create.sql.gz
trade_platform.trade_order.sql.gz
#使用正則表達(dá)式
-
mydumper -u root -S /srv/my3308/run/mysql.sock --regex='^(?!(mysql|test))' -o
/data/bk20170120
其中正則表達(dá)式可以是
--regex=order.* 導(dǎo)出所有order 開(kāi)頭的表
mydumper 導(dǎo)出的文件
-
[root@rac4 17:27:02
/data/platform]
-
# ls
-
metadata platform.config.sql platform.order.sql
mydumper 導(dǎo)出的文件 分為
-
metadata :包含導(dǎo)出時(shí)刻的binlog 位點(diǎn)信息 ，如果啟用gtid ，則記錄gtid信息。
-
Started dump at: 2017-01-20 17:26:53
-
SHOW MASTER STATUS:
-
Log: mysql-bin.000025
-
Pos: 505819083
-
GTID:
-
Finished dump at: 2017-01-20 17:27:02
-
db.table.sql :數(shù)據(jù)文件，insert語(yǔ)句
-
db.table-schema.sql :包含建表語(yǔ)句
-
db-schema.sql :包含建庫(kù)語(yǔ)句
注意 0.9.1 版本去掉了 --binlogs 參數(shù)，故會(huì)少了 啟用binlogs參數(shù)相關(guān)的文件。
有興趣的朋友可以繼續(xù)閱讀 這里，有專門(mén)針對(duì)mydumper與5.7
新出的mysqlpump 工具的討論。
五 小結(jié)
從目前的測(cè)試來(lái)看，mydumper對(duì)備份的速度有一定提升，但是沒(méi)有網(wǎng)絡(luò)上說(shuō)的10倍那么高。我已經(jīng)在我們的開(kāi)發(fā)測(cè)試環(huán)境部署了該工具的備份腳本，用來(lái)解決開(kāi)發(fā)同學(xué)的偶爾冒失行為。相比mysqldump，mydumper的導(dǎo)出的文件形式是每個(gè)表一個(gè)文件，對(duì)于開(kāi)發(fā)/測(cè)試環(huán)境的誤操作恢復(fù)十分有效。
參考文章
[1] mydumper備份原理和使用方法
|
