分布式事务数据库HotDB的数据迁移

字数 4017阅读 1477评论 0赞 0

**此小节将展示如何在实际应用场景中，结合mysqldump的完整备份与mysqlnlog的增量备份，将数据从源端单机MySQL中迁移到HotDB Server中。**
注意：整个操作过程中，不建议在数据迁移的源端或计算节点执行任何的DDL、参数变更等等非常规的操作动作。由于单线程操作且受网络延迟制约，此方式追数据的执行速度会慢于MySQL复制的执行速度，因此不保证计算节点的执行速度能够满足实时追上的要求，有可能存在数据延迟不断增大的现象，此时需要寻找业务低谷重试，或者另外规划方案。
场景描述：希望将源端192.168.210.45:3309（该实例为有生产数据的普通MySQL实例）中的物理库db01导入计算节点192.168.210.32中的逻辑库logicdb01，参考步骤如下：

1.使用mysqldump从数据迁移的源端（即192.168.210.45:3309）导出表结构，在192.168.210.45服务器上执行如下命令（必须添加如下参数）：
root> mysqldump --no-defaults -h127.0.0.1-P3309 -uhotdb_datasource -photdb_datasource **--no-data** --skip-triggers--set-gtid-purged=OFF --no-tablespaces --single-transaction--default-character-set=utf8mb4 --hex-blob --no-create-db --skip-add-locks--skip-disable-keys --skip-tz-utc --databases db01 >db01.sql

2.将表结构的SQL文件上传至计算节点所在服务器，即192.168.210.32后，登录到计算节点上执行如下命令，导入表结构成功：
mysql> source /root/db01.sql

3.使用mysqldump从数据迁移的源端（即192.168.210.45:3309）导出表数据，在192.168.210.45服务器上执行如下命令（必须添加如下参数）：
root> mysqldump --no-defaults -h127.0.0.1-P3309 -uhotdb_datasource -photdb_datasource **--no-create-info** --skip-triggers--set-gtid-purged=OFF --no-tablespaces --single-transaction--default-character-set=utf8mb4 --hex-blob --master-data=2 --no-create-db--skip-add-locks --skip-disable-keys --skip-tz-utc --databases db01>db01-1.sql

4.打开表数据的导出文件，查看当前binlog位置，如下显示则binlog位置为2410，binlog文件为mysql-bin.000076：
CHANGE MASTER TOMASTER_LOG_FILE='mysql-bin.000076', MASTER_LOG_POS=2410;

5.将表数据的SQL文件上传至计算节点所在服务器，即192.168.210.32后，登录到计算节点上执行如下命令，导入表数据成功：
mysql> source /root/db01.sql

特别注意，如果使用了外键，需要额外执行以下命令： mysql> set foreign_key_checks=0 mysql> source /root/db01.sql 执行过程中，应密切关注是否出现警告或错误，否则可能会出现数据会不一致的问题。 Tips：如果业务数据没有数据乱码问题，可以考虑split切分文件，并行导入计算节点以加快处理速度。

6.使用mysqlbinlog做增量数据同步。若源端数据库名与计算节点的逻辑库名不相同，则需要在管理端口先添加数据库映射关系，例如：
dbremapping @@add@db01:logicdb01

然后到计算节点（192.168.210.32）所在服务器上执行如下命令，binlog开始位置为第四步记录的位置（此例子中为2410，binlog文件为mysql-bin.000076）：
mysqlbinlog -R -h192.168.210.45 -P3309-uhotdb_datasource -photdb_datasource -v --base64-output=decode-rows--skip-gtids --to-last-log --stop-never --database=db01 **--start-position=2410mysql-bin.000076** | mysql -uroot -proot –h192.168.210.32 –P3323 -c -A

为了加快追数据的速度，建议执行mysqlbinlog命令的服务器就是计算节点所在服务器，这样节省了MySQL命令行客户端执行SQL时SQL和ok包通过网络来回的时间开销，可以极大提高计算节点单线程执行SQL的速度。

7.核对数据同步的正确性：此时需要进行必要的短时停服，中断业务系统向数据库的写入操作。通过人工在源端执行一条特殊数据后查看该条数据是否已经同步。等到确认计算节点已经追完最新数据后，停止mysqlbinlog命令，若需要的话，取消数据库名称映射。
Tips：可以在源端都执行如下命令后，将执行结果中出现的SQL语句复制后，在源端和计算节点都执行一遍，查看执行结果是否一致来大致地判断数据是否一致

use xxx //逻辑库名
set session group_concat_max_len=1048576;
set @mytablename='xxx'; //表名
set @mydbname=database();
select concat('selectsum(crc32(concat(ifnull(',group_concat(column_name separator',\\'NULL\\'),ifnull('),',\\'NULL\\')))) as sum from ',table_name,';') as sqltextfrom information_schema.columns where table_schema=@mydbname andtable_name=@mytablename \\G

若执行结果一致，则表数据大概率一致。
例如在源端（192.168.200.77）MySQL实例中执行如下：
mysql> use db01
Database changed
mysql> set sessiongroup_concat_max_len=1048576;
Query OK, 0 rows affected (0.00 sec)
mysql> set @mytablename='table02';
Query OK, 0 rows affected (0.00 sec)
mysql> set @mydbname=database();
Query OK, 0 rows affected (0.00 sec)
mysql> select concat('selectsum(crc32(concat(ifnull(',group_concat(column_name separator ',\\'NULL\\'),ifnull('),',\\'NULL\\'))))as sum from ',table_name,';') as sqltext from information_schema.columns wheretable_schema=@mydbname and table_name=@mytablename \\G
------------------------------1. row  ---------------------------
sqltext: select sum(crc32(concat(ifnull(id,'NULL'),ifnull(name,'NULL'))))as sum from table02;
1 row in set (0.00 sec)
msyql> selectsum(crc32(concat(ifnull(id,'NULL'),ifnull(name,'NULL')))) as sum from table02;
+----+
| sum |
+-----------+
|1812521567|
+-----------+
1 row in set (0.00 sec)

其结果（1812521567）与在计算节点执行结果一致，则table02表数据大概率一致。

HotDB 分布式事务数据库数据迁移

著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

添加新评论0 条评论

Ctrl+Enter 发表

匿名评论

分布式事务数据库HotDB的数据迁移

添加新评论0 条评论

作者其他文章

相关文章

相关问题

相关资料