并发逻辑备份工具mydumper实践

• mysqldump单线程的备份恢复机制使得线上备份900G+数据近7个多小时，恢复30G数据需要2-3小时。

• mydumper的行级并发备份和myloder表级并发导入，理论上能够很大程度提升效率。

• 现对mydumper和mysqldump进行有差异性的性能比较。

安装

yum -y install git cmake pcre-devel.x86_64 glib2-devel mysql-devel mysql-libsgit clone https://github.com/maxbube/mydumper.gitcmake .make && make install

mydump常用参数

-u 用户名-p 密码-h 主机IP或域名-t 线程数-o 备份文件名-d 不带数据-B schema名，多个用逗号间隔-T table名，多个用逗号间隔-R 导出trigger-G 导出routines

mysqldump和mydumper测试对比

数据量约为21G，备份时间如下：

对比结果

对比分析

1. mysqldump替换mydumper后，备份时间缩短一半左右

2. mydmper中-t参数设置并非越大越好，在测试环境中，t=2反而比默认值4要快

myloader实践

myloader常用参数

-u 用户名-p 密码-h 主机IP或域名-t 线程数-d 备份文件名-o 覆盖还原-B 还原的schema名，可以重命名-s 指定还原部分的schema名

不同线程数-t对恢复时间的影响

备份约4G左右，恢复时间如下：

对比结果：

对比分析：

1. 线程数-t越高，恢复越快，但受IO限制，在测试环境下 t>8之后收益逐渐减少。

2. 当恢复的数据库中存在特别大的表或者只有一张表，myloader收益较低甚至没有。

3. -q(queries-per-transaction)参数的调整暂时没有发现对测试结果有影响。