mysql教程数据库教程备份恢复之完全备份与增量备份策略

备份策略一：直接拷贝数据库文件（不推荐）
备份策略二：使用mysqlhotcopy备份数据库（完全备份，适合小型数据库备份）
备份策略三：使用mysqldump备份数据库（完全+增量备份，适合中型数据库备份）
备份策略四：使用主从复制机制(replication)（实现数据库实时备份）

备份策略一、直接拷贝数据库文件
直接拷贝数据文件最为直接、快速、方便，但缺点是基本上不能实现增量备份。为了保证数据的一致性，需要在备份文件前，执行以下 sql 语句：
flush tables with read lock;
也就是把内存中的数据都刷新到磁盘中，同时锁定数据表，以保证拷贝过程中不会有新的数据写入。这种方法备份出来的数据恢复也很简单，直接拷贝回原来的数据库目录下即可。


备份策略二、使用mysqlhotcopy备份数据库
mysqlhotcopy 是一个 perl 程序，最初由tim bunce编写。它使用 lock tables、flush tables 和 cp 或 scp 来快速备份数据库。它是备份数据库或单个表的最快的途径，但它只能运行在数据库文件（包括数据表定义文件、数据文件、索引文件）所在的机器上，并且 mysqlhotcopy 只能用于备份 myisam表。

本备份策略适合于小型数据库的备份，数据量不大，可以采用mysqlhotcopy程序每天进行一次完全备份。

 

备份策略布置：

 

（1）、安装dbd-mysql perl模块，支持mysqlhotcopy脚本连接到mysql数据库。

 

shell> tar -xzvf  dbd-mysql-4.005.tar.gz

 

shell> cd dbd-mysql-4.005

 

shell> unset lang

 

shell> perl makefile.pl -mysql_config=/usr/local/mysql/bin/mysql_config -testuser=root -testpassword=userpwd

 

shell> make

 

shell> make test

 

shell> make install

 

（2）、设置crontab任务，每天执行备份脚本

 

shell> crontab -e

 

0 3 * * * /root/mysqlbackup/mysqlbackup.sh >/dev/null 2>&1

 

每天凌晨3:00执行备份脚本。

 


mysqlbackup.sh注释：

 

#!/bin/sh

 

# name:mysqlbackup.sh

 

# ps教程:mysql database backup,use mysqlhotcopy script.

 

# write by:i.stone

 

# last modify:2007-11-15

 

#

 

# 定义变量，请根据具体情况修改

 

# 定义脚本所在目录

 

scriptsdir=`pwd`

 

# 数据库的数据目录

 

datadir=/usr/local/mysql/data/

 

# 数据备份目录

 

tmpbackupdir=/tmp/tmpbackup/

 

backupdir=/tmp/mysqlbackup/

 

# 用来备份数据库的用户名和密码

 

mysqluser=root

 

mysqlpwd=111111

 

# 定义email地址

 

email=alter@3ppt.com

 

# 如果临时备份目录存在，清空它，如果不存在则创建它

 

if [[ -e $tmpbackupdir ]]; then

 

  rm -rf $tmpbackupdir/*

 

else

 

  mkdir $tmpbackupdir

 

fi

 

# 如果备份目录不存在则创建它

 

if [[ ! -e $backupdir ]];then

 


mkdir $backupdir

 

fi

 
# 清空mysqlbackup.log

 

if [[ -s mysqlbackup.log ]]; then

 

  cat /dev/null >mysqlbackup.log

 

fi

 

# 得到数据库备份列表，在此可以过滤不想备份的数据库

 

for databases in `find $datadir -type d |

 

  sed -e "s//usr/local/mysql/data///" |

 

  sed -e "s/test//"`; do

 


  if [[ $databases == "" ]]; then

 

    continue

 

  else

 

# 备份数据库

 

    /usr/local/mysql/bin/mysqlhotcopy --user=$mysqluser --password=$mysqlpwd -q "$databases" $tmpbackupdir

 

    datetime=`date "+%y.%m.%d %h:%m:%s"`

 

    echo "$datetime databasedatabases backup success!" >>mysqlbackup.log

 

  fi

 

done

 

# 压缩备份文件

 

date=`date -i`

 

cd $tmpbackupdir

 

tar czf $backupdir/mysql-$date.tar.gz ./

 

# 发送邮件通知

 

if [[ -s mysqlbackup.log ]]; then

 

  cat mysqlbackup.log | mail -s "mysql backup" $email

 

fi




# 使用smbclientmv.sh脚本上传数据库备份到备份服务器

 

# $scriptsdir/smbclientmv.sh

 


smbclientmv.sh注释：

 

#!/bin/sh

 

# name:smbclientmv.sh

 

# ps:move the data to backup server.

 

# write by:i.stone

 

# last modify:2007-11-15

 

#

 

# 定义变量

 

# 备份服务器名

 

backupserver="backupservername"

 

# 共享文件夹名

 

backupshare="sharename"

 

# 备份服务器的访问用户名和密码

 

backupuser="smbuser"

 

backuppw="smbpassword"

 

# 定义备份目录

 

backupdir=/tmp/mysqlbackup

 

date=`date -i`



# move the data to backupserver

 

smbclient //$backupserver/$backupshare

 

$backuppw -d0 -w workgroup -u $backupuser

 

-c "put $backupdir/mysql-$date.tar.gz

 

mysql-$date.tar.gz"



# delete temp files

 

rm -f $backupdir/mysql-$date.tar.gz

 
（3）、恢复数据库到备份时的状态


mysqlhotcopy 备份出来的是整个数据库目录，使用时可以直接拷贝到 mysqld 指定的 datadir (在这里是 /usr/local/mysql/data/)目录下即可，同时要注意权限的问题，如下例：
shell> cp -rf db_name /usr/local/mysql/data/

shell> chown -r mysql:mysql /usr/local/mysql/data/ (将 db_name 目录的属主改成 mysqld 运行用户)

 

本套备份策略只能恢复数据库到最后一次备份时的状态，要想在崩溃时丢失的数据尽量少应该更频繁的进行备份，要想恢复数据到崩溃时的状态请使用主从复制机制(replication)。


备份策略三、使用mysqldump备份数据库

mysqldump 是采用sql级别的备份机制，它将数据表导成 sql 脚本文件，在不同的 mysql 版本之间升级时相对比较合适，这也是最常用的备份方法。mysqldump 比直接拷贝要慢些。关于mysqldump的更详细解释见最后的附录。


对于中等级别业务量的系统来说，备份策略可以这么定：第一次完全备份，每天一次增量备份，每周再做一次完全备份，如此一直重复。而对于重要的且繁忙的系统 来说，则可能需要每天一次全量备份，每小时一次增量备份，甚至更频繁。为了不影响线上业务，实现在线备份，并且能增量备份，最好的办法就是采用主从复制机 制(replication)，在 slave 机器上做备份。

备份策略布置：

 

（1）、创建备份目录

 

shell> mkdir /tmp/mysqlbackup

 

shell> mkdir /tmp/mysqlbackup/daily

 

（2）、启用二进制日志


采用 binlog 的方法相对来说更灵活，省心省力，而且还可以支持增量备份。
启用 binlog 时必须要重启 mysqld。首先，关闭 mysqld，打开 /etc/my.cnf，加入以下几行：
[mysqld]
log-bin

然后启动 mysqld 就可以了。运行过程中会产生 hostname-bin.000001 以及 hostname-bin.index，前面的文件是 mysqld 记录所有对数据的更新操作，后面的文件则是所有 binlog 的索引，都不能轻易删除。关于 binlog 的更详细信息请查看手册。

 

（3）、配置ssh密钥登录，用于将mysql备份传送到备份服务器（如果备份服务器为windows，请跳过此部）。

 

1）、在mysql所在服务器（192.168.0.20）生成ssh密钥


[root@lab ~]# ssh-keygen -t rsa
generating public/private rsa key pair.
enter file in which to save the key (/root/.ssh/id_rsa):
//直接回车
enter passphrase (empty for no passphrase):
//直接回车，不使用密码
enter same passphrase again:
//直接回车，不使用密码
your identification has been saved in /root/.ssh/id_rsa.
your public key has been saved in /root/.ssh/id_rsa.pub.
the key fingerprint is:
c2:96:9f:2d:5a:8e:08:42:43:35:2f:85:5e:72:f8:1c root@lab

2）、在备份服务器（192.168.0.200）上创建目录，修改权限，并传送公钥。
[root@lab ~]# ssh 192.168.0.200 "mkdir .ssh;chmod 0700 .ssh"
the authenticity of host '192.168.0.200 (192.168.0.200)' can't be established.
rsa key fingerprint is 37:57:55:c1:32:f1:dd:bb:1b:8a:13:6f:89:fb:b8:9d.
are you sure you want to continue connecting (yes/no)? yes
warning: permanently added '192.168.0.200' (rsa) to the list of known hosts.
root@192.168.0.200's password:
//输入备份服务器的root密码
[root@lab ~]# scp .ssh/id_rsa.pub 192.168.0.200:.ssh/authorized_keys2
root@192.168.0.200's password:
id_rsa.pub                                             100%  218     0.2kb/s   00:00  
3）、测试ssh登录
[root@lab ~]# ssh 192.168.0.200       //测试ssh登录
last login: fri nov 16 10:34:02 2007 from 192.168.0.20
[root@lib ~]#

 


（4）、设置crontab任务，每天执行备份脚本

 

shell> crontab -e

 

#每个星期日凌晨3:00执行完全备份脚本

 

0 3 * * 0 /root/mysqlbackup/mysqlfullbackup.sh >/dev/null 2>&1

 

#周一到周六凌晨3:00做增量备份

 

0 3 * * 1-6 /root/mysqlbackup/mysqldailybackup.sh >/dev/null 2>&1

 

 


mysqlfullbackup.sh注释：


#!/bin/sh

 

# name:mysqlfullbackup.sh

 

# ps:mysql database full backup.

 

# write by:i.stone

 

# last modify:2007-11-17

 

#

 

# use mysqldump --help get more detail.

 

#

 

# 定义变量，请根据具体情况修改

 

# 定义脚本目录

 

scriptsdir=`pwd`

 

# 定义数据库目录

 

mysqldir=/usr/local/mysql

 

# 定义用于备份数据库的用户名和密码

 

user=root

 

userpwd=111111

 

# 定义备份目录

 

databackupdir=/tmp/mysqlbackup

 

# 定义邮件正文文件

 

emailfile=$databackupdir/email.txt

 

# 定义邮件地址

 

email=alter@3ppt.com

 

# 定义备份日志文件

 

logfile=$databackupdir/mysqlbackup.log

 

date=`date -i`

 

 


echo "" > $emailfile

 

echo $(date +"%y-%m-%d %h:%m:%s" >> $emailfile

 

cd $databackupdir

 

# 定义备份文件名

 

dumpfile=mysql_$date.sql

 

gzdumpfile=mysql_$date.sql.tar.gz

 

 


# 使用mysqldump备份数据库，请根据具体情况设置参数

 

$mysqldir/bin/mysqldump -u$user -p$userpwd

 

--opt --default-character-set=utf8 --extended-insert=false

 

--triggers -r --hex-blob --all-databases

 

--flush-logs --delete-master-logs

 

--delete-master-logs

 

-x > $dumpfile

 

 


# 压缩备份文件

 

if [[ $? == 0 ]]; then

 


tar czf $gzdumpfile $dumpfile >> $emailfile 2>&1

 


echo "backupfilenamegzdumpfile" >> $emailfile

 


echo "database backup success!" >> $emailfile

 


rm -f $dumpfile

 

 


# delete daily backup files.

 


cd $databackupdir/daily

 


rm -f *

 

 


# delete old backup files(mtime>2).

 


$scriptsdir/rmbackup.sh

 

 


# 如果不需要将备份传送到备份服务器或备份服务器为windows，请将标绿的行注释掉

 

# move backup files to backup server.

 

#适合linux（mysql服务器）到linux（备份服务器）

 


$scriptsdir/rsyncbackup.sh

 


if (( !$? )); then

 

    echo "move backup files to backup server success!" >> $emailfile

 

    else

 

    echo "move backup files to backup server fail!" >> $emailfile

  fi

else

echo "database backup fail!" >> $emailfile

fi

# 写日志文件

echo "--------------------------------------------------------" >> $logfile

 

cat $emailfile >> $logfile

 

# 发送邮件通知

cat $emailfile | mail -s "mysql backup" $email


（5） 、恢复数据库到备份时的状态


用 mysqldump 备份出来的文件是一个可以直接倒入的 sql 脚本,直接用 mysql 客户端导入就可以了。

/usr/local/mysql/bin/mysql -uroot -puserpwd db_name < db_name.sql
对于任何可适用的更新日志，将它们作为 mysql 的输入：
% ls -t -r -1 hostname-bin* | xargs mysqlbinlog | mysql -uuser -puserpwd

ls 命令生成更新日志文件的一个单列列表，根据服务器产生它们的次序排序（注意：如果你修改任何一个文件，你将改变排序次序，这将导致更新日志以错误的次序被运用。）


本套备份策略只能恢复数据库到最后一次备份时的状态，要想在崩溃时丢失的数据尽量少应该更频繁的进行备份，要想恢复数据到崩溃时的状态请使用主从复制机制 (replication)。如果使用本套备份脚本，将日志文件和数据文件放到不同的磁盘上是一个不错的主义，这样不仅可以提高数据写入速度，还能使数据 更安全
mysql支持单向、异步复制，复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。主服务器将更新写入二进制日志文件，并维护日志 文件的一个索引以跟踪日志循环。当一个从服务器连接到主服务器时，它通知主服务器从服务器在日志中读取的最后一次成功更新的位置。从服务器接收从那时起发 生的任何更新，然后封锁并等待主服务器通知下一次更新。


为什么使用主从复制？

1、主服务器/从服务器设置增加了健壮性。主服务器出现问题时，你可以切换到从服务器作为备份。

2、通过在主服务器和从服务器之间切分处理客户查询的负荷，可以得到更好的客户响应时间。但是不要同时在主从服务器上进行更新，这样可能引起冲突。

3、使用复制的另一个好处是可以使用一个从服务器执行备份，而不会干扰主服务器。在备份过程中主服务器可以继续处理更新。
 

mysql使用3个线程来执行复制功能(其中1个在主服务器上，另两个在从服务器上。当发出start slave时，从服务器创建一个i/o线程，以连接主服务器并让主服务器发送二进制日志。主服务器创建一个线程将二进制日志中的内容发送到从服务器。从服 务器i/o线程读取主服务器binlog dump线程发送的内容并将该数据拷贝到从服务器数据目录中的本地文件中，即中继日志。第3个线程是sql线程，从服务器使用此线程读取中继日志并执行日 志中包含的更新。show processlist语句可以查询在主服务器上和从服务器上发生的关于复制的信息。

默认中继日志使用host_name-relay-bin.nnnnnn形式的文件名，其中host_name是从服务器主机名，nnnnnn是序列号。 用连续序列号来创建连续中继日志文件，从000001开始。从服务器跟踪中继日志索引文件来识别目前正使用的中继日志。默认中继日志索引文件名为 host_name-relay-bin.index。在默认情况，这些文件在从服务器的数据目录中被创建。中继日志与二进制日志的格式相同，并且可以用 mysqlbinlog读取。当sql线程执行完中继日志中的所有事件后，中继日志将会被自动删除。

从服务器在数据目录中另外创建两个状态文件--master.info和relay-log.info。状态文件保存在硬盘上，从服务器关闭时不会丢失。下次从服务器启动时，读取这些文件以确定它已经从主服务器读取了多少二进制日志，以及处理自己的中继日志的程度。
 

设置主从复制：

1、确保在主服务器和从服务器上安装的mysql版本相同，并且最好是mysql的最新稳定版本。

2、在主服务器上为复制设置一个连接账户。该账户必须授予replication slave权限。如果账户仅用于复制(推荐这样做)，则不需要再授予任何其它权限。

mysql> grant replication slave on *.*

    -> to 'replication'@'%.3ppt.com' identified by 'slavepass';

3、执行flush tables with read lock语句清空所有表和块写入语句：

mysql> flush tables with read lock；

保持mysql客户端程序不要退出。开启另一个终端对主服务器数据目录做快照。

shell> cd /usr/local/mysql/

shell> tar -cvf /tmp/mysql-snapshot.tar ./data

如果从服务器的用户账户与主服务器的不同，你可能不想复制mysql数据库。在这种情况下，应从归档中排除该数据库。你也不需要在归档中包括任何日志文件或者master.info或relay-log.info文件。

当flush tables with read lock所置读锁定有效时（即mysql客户端程序不退出)，读取主服务器上当前的二进制日志名和偏移量值：

mysql > show master status;

+---------------+----------+--------------+------------------+

| file          | position | binlog_do_db | binlog_ignore_db |

+---------------+----------+--------------+------------------+

| mysql-bin.003 | 73       | test         | manual,mysql     |

+---------------+----------+--------------+------------------+

file列显示日志名，而position显示偏移量。在该例子中，二进制日志值为mysql-bin.003，偏移量为73。记录该值。以后设置从服务器时需要使用这些值。它们表示复制坐标，从服务器应从该点开始从主服务器上进行新的更新。

如果主服务器运行时没有启用--logs-bin，show master status显示的日志名和位置值为空。在这种情况下，当以后指定从服务器的日志文件和位置时需要使用的值为空字符串('')和4.

取得快照并记录日志名和偏移量后，回到前一中端重新启用写活动：

mysql> unlock tables；

4、确保主服务器主机上my.cnf文件的[mysqld]部分包括一个log-bin选项。该部分还应有一个server-id=master_id选项，其中master_id必须为1到232–1之间的一个正整数值。例如：

[mysqld]

log-bin

server-id=1

如果没有提供那些选项，应添加它们并重启服务器。

5、停止从服务器上的mysqld服务并在其my.cnf文件中添加下面的行：

[mysqld]

server-id=2

slave_id值同master_id值一样，必须为1到232–1之间的一个正整数值。并且，从服务器的id必须与主服务器的id不相同。

6、将数据备据目录中。确保对这些文件和目录的权限正确。服务器 mysql运行的用户必须能够读写文件，如同在主服务器上一样。

shell> chown -r mysql:mysql /usr/local/mysql/data

7、启动从服务器。在从服务器上执行下面的语句，用你的系统的实际值替换选项值：

 

        mysql> change master to

            -> master_host='master_host_name',

            -> master_user='replication_user_name',

            -> master_password='replication_password',

            -> master_log_file='recorded_log_file_name',

            -> master_log_pos=recorded_log_position;

8、启动从服务器线程：

        mysql> start slave；

执行这些程序后，从服务器应连接主服务器，并补充自从快照以来发生的任何更新。

9、如果出现复制错误，从服务器的错误日志（hostname.err）中也会出现错误消息。

10、从服务器复制时，会在其数据目录中发现文件master.info和hostname-relay-log.info。从服务器使用这两个文件跟踪 已经处理了多少主服务器的二进制日志。不要移除或编辑这些文件，除非你确切知你正在做什么并完全理解其意义。即使这样，最好是使用change master to语句