使用MySQL8.0.17的clone技术在线搭建主从复制环境

举报
小麦苗DB宝 发表于 2022/04/01 16:25:19 2022/04/01
【摘要】 一、MySQL 8.0.17的克隆clone简介 二、初始化主从复制环境 三、使用clone技术搭建主从复制 3.1 主库创建复制用户 3.2 主库和从库都安装克隆插件 3.3 从库开始克隆 3.4 查看clone进度和状态 四、配置并启动主从复制 五、测试主从同步 六、总结 一、MySQL 8.0.17的克隆clone简介MySQL 8.0.17的克隆插件允许在本地或从远程 MySQL ...

一、MySQL 8.0.17的克隆clone简介

MySQL 8.0.17的克隆插件允许在本地或从远程 MySQL 实例在线克隆数据,从此搭建从库可以不再需要备份工具(PXB或mysqldump)来实现了。克隆数据是存储在 InnoDB 其中的数据的物理快照,其中包括库、表、表空间和数据字典元数据。克隆的数据包含一个功能齐全的数据目录,允许使用克隆插件进行 MySQL 服务器配置。

克隆插件支持两种克隆方式:

  • 本地克隆:本地克隆操作将启动克隆操作的 MySQL 服务器实例中的数据克隆到同服务器或同节点上的一个目录里。

  • 远程克隆:默认情况下,远程克隆操作会删除接受者(recipient)数据目录中的数据,并将其替换为捐赠者(donor)的克隆数据。(可选)您也可以将数据克隆到接受者的其他目录,以避免删除现有数据。

    远程克隆操作和本地克隆操作克隆的数据没有区别,数据是相同的。克隆插件支持复制。除克隆数据外,克隆操作还从捐赠者中提取并传输复制位置信息,并将其应用于接受者,从而可以使用克隆插件来配置组复制或主从复制。使用克隆插件进行配置比复制大量事务要快得多,效率更高。

    官网地址:https://dev.mysql.com/doc/refman/8.0/en/clone-plugin.html

二、初始化主从复制环境

Mater: 192.168.68.168 port:3306 doner 捐赠者
Slave: 192.168.68.169 port:3306 recipient 接受者

-- 下载镜像
docker pull mysql:8.0.20

-- 创建主从网络环境
docker network create --subnet=192.168.68.0/16 mhalhr
docker network inspect mhalhr

-- 创建MySQL参数文件路径
mkdir -p /etc/mysql/mysql8020M1/
mkdir -p /etc/mysql/mysql8020S1/

-- 删除已存在的容器
docker rm -f mysql8020M1
docker rm -f mysql8020S1

-- 创建主库
docker run -d --name mysql8020M1 -h mysql8020M1 -p 3318:3306 \
  -v /etc/mysql/mysql8020M1/conf:/etc/mysql/conf.d \
  -e MYSQL_ROOT_PASSWORD=lhr -e TZ=Asia/Shanghai \
  --network mhalhr --ip 192.168.68.168 \
  mysql:8.0.20

-- 创建从库
docker run -d --name mysql8020S1 -h mysql8020S1 -p 3319:3306 \
  -v /etc/mysql/mysql8020S1/conf:/etc/mysql/conf.d \
  -e MYSQL_ROOT_PASSWORD=lhr -e TZ=Asia/Shanghai \
  --network mhalhr --ip 192.168.68.169 \
  mysql:8.0.20

-- 修改主从环境的参数文件
cat >  /etc/mysql/mysql8020M1/conf/my.cnf <<"EOF"
[mysqld]
default-time-zone = '+8:00'
log_timestamps = SYSTEM
skip-name-resolve
log-bin
server_id=80203318
character_set_server=utf8mb4

gtid_mode=on
enforce_gtid_consistency=on

binlog-ignore-db = mysql
binlog-ignore-db = information_schema
binlog-ignore-db = performance_schema
binlog-ignore-db = sys
replicate_ignore_db=information_schema
replicate_ignore_db=performance_schema
replicate_ignore_db=mysql
replicate_ignore_db=sys

default_authentication_plugin=mysql_native_password

report_host = 192.168.68.168
report_port = 3306

EOF


cat >  /etc/mysql/mysql8020S1/conf/my.cnf <<"EOF"
[mysqld]
default-time-zone = '+8:00'
log_timestamps = SYSTEM
skip-name-resolve
log-bin
server_id=80203319
character_set_server=utf8mb4

gtid_mode=on
enforce_gtid_consistency=on

binlog-ignore-db = mysql
binlog-ignore-db = information_schema
binlog-ignore-db = performance_schema
binlog-ignore-db = sys
replicate_ignore_db=information_schema
replicate_ignore_db=performance_schema
replicate_ignore_db=mysql
replicate_ignore_db=sys

default_authentication_plugin=mysql_native_password

report_host = 192.168.68.169
report_port = 3306

EOF



 -- 添加网卡
docker network connect bridge mysql8020M1
docker network connect bridge mysql8020S1

-- 重启主从环境
docker restart mysql8020M1 mysql8020S1

最后结果:

[root@docker35 ~]# docker ps
CONTAINER ID        IMAGE               COMMAND                  CREATED              STATUS              PORTS                               NAMES
ebe3b62a2358        mysql:8.0.20        "docker-entrypoint.s…"   About a minute ago   Up 1 second         33060/tcp, 0.0.0.0:3319->3306/tcp   mysql8020S1
76140b04e2fd        mysql:8.0.20        "docker-entrypoint.s…"   2 minutes ago        Up 4 seconds        33060/tcp, 0.0.0.0:3318->3306/tcp   mysql8020M1

三、使用clone技术搭建主从复制

3.1 主库创建复制用户

创建复制用户:

mysql -uroot -plhr -h192.168.68.168 -P3306
create user repl@'%' identified with mysql_native_password  by 'lhr';
grant all on *.* to repl@'%';

创建测试数据库:

create database lhrdb1 charset utf8mb4;
use lhrdb1;
CREATE TABLE student (
    no VARCHAR(20) PRIMARY KEY,
    name VARCHAR(20) NOT NULL,
    sex VARCHAR(10) NOT NULL,
    birthday DATE, -- 生日
    class VARCHAR(20) -- 所在班级
);
INSERT INTO student VALUES('101', '曾华', '男', '1977-09-01', '95033'),('102', '匡明', '男', '1975-10-02', '95031'),('103', '王丽', '女', '1976-01-23', '95033'),('104', '李军', '男', '1976-02-20', '95033'),('105', '王芳', '女', '1975-02-10', '95031'),('106', '陆军', '男', '1974-06-03', '95031'),('107', '王飘飘', '男', '1976-02-20', '95033'),('108', '张全蛋', '男', '1975-02-10', '95031'),('109', '赵铁柱', '男', '1974-06-03', '95031');
select * from student;

查询结果:

mysql> select * from student;
+-----+-----------+-----+------------+-------+
| no  | name      | sex | birthday   | class |
+-----+-----------+-----+------------+-------+
| 101 | 曾华      || 1977-09-01 | 95033 |
| 102 | 匡明      || 1975-10-02 | 95031 |
| 103 | 王丽      || 1976-01-23 | 95033 |
| 104 | 李军      || 1976-02-20 | 95033 |
| 105 | 王芳      || 1975-02-10 | 95031 |
| 106 | 陆军      || 1974-06-03 | 95031 |
| 107 | 王飘飘    || 1976-02-20 | 95033 |
| 108 | 张全蛋    || 1975-02-10 | 95031 |
| 109 | 赵铁柱    || 1974-06-03 | 95031 |
+-----+-----------+-----+------------+-------+
9 rows in set (0.00 sec)

3.2 主库和从库都安装克隆插件

mysql -uroot -plhr -h192.168.68.168 -P3306
mysql -uroot -plhr -h192.168.68.169 -P3306
select plugin_name, plugin_status from information_schema.plugins where plugin_name = 'clone';
install plugin clone soname 'mysql_clone.so';

安装结果:

mysql> select plugin_name, plugin_status from information_schema.plugins where plugin_name = 'clone';
+-------------+---------------+
| plugin_name | plugin_status |
+-------------+---------------+
| clone       | ACTIVE        |
+-------------+---------------+
1 row in set (0.00 sec)

3.3 从库开始克隆

-- 从库配置参数
mysql -uroot -plhr -h192.168.68.169 -P3306
set global clone_valid_donor_list='192.168.68.168:3306';

-- 从库开始克隆
clone instance from root@'192.168.68.168':3306 identified by 'lhr';

执行过程:

mysql> set global clone_valid_donor_list='192.168.68.168:3306';
Query OK, 0 rows affected (0.00 sec)

mysql> clone instance from root@'192.168.68.168':3306 identified by 'lhr';
ERROR 3707 (HY000): Restart server failed (mysqld is not managed by supervisor process).
mysql> 

注意:默认情况下,克隆数据后会自动重新启动接受者 MySQL 实例。要自动重新启动,必须在接收方上提供监视进程以检测服务器是否已关闭。否则,在克隆数据后,克隆操作将停止并出现以下错误,并且关闭接受者 MySQL 服务器实例。此错误不表示克隆失败。这意味着必须在克隆数据后手动重新启动接受者的 MySQL 实例。

ERROR 3707 (HY000): Restart server failed (mysqld is not managed by supervisor process).

由于我们这里的环境是docker容器,所以只需要重新启动容器即可:

docker start mysql8020S1

3.4 查看clone进度和状态

mysql> select 
    ->   stage,
    ->   state,
    ->   cast(begin_time as DATETIME) as "START TIME",
    ->   cast(end_time as DATETIME) as "FINISH TIME",
    ->   lpad(sys.format_time(power(10,12) * (unix_timestamp(end_time) - unix_timestamp(begin_time))), 10, ' ') as DURATION,
    ->   lpad(concat(format(round(estimate/1024/1024,0), 0), "MB"), 16, ' ') as "Estimate",
    ->   case when begin_time is NULL then LPAD('%0', 7, ' ')
    ->   when estimate > 0 then
    ->   lpad(concat(round(data*100/estimate, 0), "%"), 7, ' ')
    ->   when end_time is NULL then lpad('0%', 7, ' ')
    ->   else lpad('100%', 7, ' ')
    ->   end as "Done(%)"
    ->   from performance_schema.clone_progress;
+-----------+-----------+---------------------+---------------------+------------+------------------+---------+
| stage     | state     | START TIME          | FINISH TIME         | DURATION   | Estimate         | Done(%) |
+-----------+-----------+---------------------+---------------------+------------+------------------+---------+
| DROP DATA | Completed | 2020-11-04 10:11:14 | 2020-11-04 10:11:14 |  302.88 ms |              0MB |    100% |
| FILE COPY | Completed | 2020-11-04 10:11:14 | 2020-11-04 10:11:16 |     1.38 s |             63MB |    100% |
| PAGE COPY | Completed | 2020-11-04 10:11:16 | 2020-11-04 10:11:16 |  104.43 ms |              0MB |    100% |
| REDO COPY | Completed | 2020-11-04 10:11:16 | 2020-11-04 10:11:16 |  101.02 ms |              0MB |    100% |
| FILE SYNC | Completed | 2020-11-04 10:11:16 | 2020-11-04 10:11:18 |     2.12 s |              0MB |    100% |
| RESTART   | Completed | 2020-11-04 10:11:18 | 2020-11-04 10:11:44 |    26.02 s |              0MB |    100% |
| RECOVERY  | Completed | 2020-11-04 10:11:44 | 2020-11-04 10:11:45 |     1.19 s |              0MB |    100% |
+-----------+-----------+---------------------+---------------------+------------+------------------+---------+
7 rows in set (0.02 sec)

mysql> SELECT * FROM performance_schema.clone_status \G
*************************** 1. row ***************************
             ID: 1
            PID: 0
          STATE: Completed
     BEGIN_TIME: 2020-11-04 10:11:13.887
       END_TIME: 2020-11-04 10:11:45.270
         SOURCE: 192.168.68.168:3306
    DESTINATION: LOCAL INSTANCE
       ERROR_NO: 0
  ERROR_MESSAGE: 
    BINLOG_FILE: mysql8020M1-bin.000004
BINLOG_POSITION: 5993
  GTID_EXECUTED: dcccf122-1e40-11eb-8ca0-0242c0a844a8:1-19
1 row in set (0.00 sec)

四、配置并启动主从复制

在从库执行:

change master to master_host='192.168.68.168',
master_port=3306,
master_user='repl',
master_password='lhr',
master_auto_position=1;

start slave;

show slave status \G

结果:

mysql> show slave status \G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 192.168.68.168
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql8020M1-bin.000004
          Read_Master_Log_Pos: 5993
               Relay_Log_File: mysql8020S1-relay-bin.000002
                Relay_Log_Pos: 436
        Relay_Master_Log_File: mysql8020M1-bin.000004
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB: 
          Replicate_Ignore_DB: information_schema,performance_schema,mysql,sys
           Replicate_Do_Table: 
       Replicate_Ignore_Table: 
      Replicate_Wild_Do_Table: 
  Replicate_Wild_Ignore_Table: 
                   Last_Errno: 0
                   Last_Error: 
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 5993
              Relay_Log_Space: 651
              Until_Condition: None
               Until_Log_File: 
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File: 
           Master_SSL_CA_Path: 
              Master_SSL_Cert: 
            Master_SSL_Cipher: 
               Master_SSL_Key: 
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error: 
               Last_SQL_Errno: 0
               Last_SQL_Error: 
  Replicate_Ignore_Server_Ids: 
             Master_Server_Id: 80203318
                  Master_UUID: dcccf122-1e40-11eb-8ca0-0242c0a844a8
             Master_Info_File: mysql.slave_master_info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
           Master_Retry_Count: 86400
                  Master_Bind: 
      Last_IO_Error_Timestamp: 
     Last_SQL_Error_Timestamp: 
               Master_SSL_Crl: 
           Master_SSL_Crlpath: 
           Retrieved_Gtid_Set: 
            Executed_Gtid_Set: dcccf122-1e40-11eb-8ca0-0242c0a844a8:1-19
                Auto_Position: 1
         Replicate_Rewrite_DB: 
                 Channel_Name: 
           Master_TLS_Version: 
       Master_public_key_path: 
        Get_master_public_key: 0
            Network_Namespace: 

主从复制配置成功。

五、测试主从同步

主库建库建表:

create database lhrdb2 charset utf8mb4;
use lhrdb2;
CREATE TABLE teacher (
    no VARCHAR(20) PRIMARY KEY,
    name VARCHAR(20) NOT NULL,
    sex VARCHAR(10) NOT NULL,
    birthday DATE,
    profession VARCHAR(20) NOT NULL,
    department VARCHAR(20) NOT NULL 
);

INSERT INTO teacher VALUES('804', '李诚', '男', '1958-12-02', '副教授', '计算机系'),('856', '张旭', '男', '1969-03-12', '讲师', '电子工程系'),('825', '王萍', '女', '1972-05-05', '助教', '计算机系'),('831', '刘冰', '女', '1977-08-14', '助教', '电子工程系');
select * from lhrdb2.teacher;

mysql> select * from teacher;
+-----+--------+-----+------------+------------+-----------------+
| no  | name   | sex | birthday   | profession | department      |
+-----+--------+-----+------------+------------+-----------------+
| 804 | 李诚   || 1958-12-02 | 副教授     | 计算机系        |
| 825 | 王萍   || 1972-05-05 | 助教       | 计算机系        |
| 831 | 刘冰   || 1977-08-14 | 助教       | 电子工程系      |
| 856 | 张旭   || 1969-03-12 | 讲师       | 电子工程系      |
+-----+--------+-----+------------+------------+-----------------+
4 rows in set (0.00 sec)

从库查询:

mysql> select * from lhrdb2.teacher;
+-----+--------+-----+------------+------------+-----------------+
| no  | name   | sex | birthday   | profession | department      |
+-----+--------+-----+------------+------------+-----------------+
| 804 | 李诚   || 1958-12-02 | 副教授     | 计算机系        |
| 825 | 王萍   || 1972-05-05 | 助教       | 计算机系        |
| 831 | 刘冰   || 1977-08-14 | 助教       | 电子工程系      |
| 856 | 张旭   || 1969-03-12 | 讲师       | 电子工程系      |
+-----+--------+-----+------------+------------+-----------------+
4 rows in set (0.00 sec)

可见,主从复制正常。

至此远程从库通过clone插件的方式搭建成功了,非常简单也非常快速,不需要mysqldump也不需要xtrabackup,在线搭建成功,非常快,以后用8.0可以考虑这种便捷的方式了。

六、总结

克隆技术的一些限制条件:

  • 版本大于等于8.0.17且不支持跨版本。要求相同版本号,您无法MySQL 5.7和MySQL 8.0之间进行克隆,在8.0.19和8.0.20之间也不可以,而且要求版本>=8.0.17。

  • 克隆操作期间不允许使用 DDL,允许并发DML。

  • 两台机器具有相同的操作系统OS。同一平台同一架构,例如linux to windows、x64 to x32 是不支持。

  • 两台MySQL实例具体相同的 innodb_page_size 和 innodb_data_file_path(ibdata文件名)

  • 同一时刻仅仅允许有一个克隆任务存在

  • recipient 需要设置变量clone_valid_donor_list

  • max_allowed_packet 大于2M

  • doner的undo表空间文件名称不能重复

  • 不会克隆my.cnf文件

  • 不会克隆binlog二进制日志。

  • 仅仅支持innodb引擎。不克隆其他存储引擎数据。MyISAM并且 CSV存储在包括sys模式的任何模式中的表都被克隆为空表。

  • 捐赠者和接受者都需要安装克隆插件

  • 捐赠者和接受者分别需要有至少BACKUP_ADMIN/CLONE_ADMIN权限的账号

  • 不支持通过MySQL router连接到捐赠者实例。

  • 默认情况下,克隆数据后会自动重新启动接受者 MySQL 实例。要自动重新启动,必须在接收方上提供监视进程以检测服务器是否已关闭。否则,在克隆数据后,克隆操作将停止并出现以下错误,并且关闭接受者 MySQL 服务器实例。 此错误不表示克隆失败。这意味着必须在克隆数据后手动重新启动接受者的 MySQL 实例。

    ERROR 3707 (HY000): Restart server failed (mysqld is not managed by supervisor process).
    
【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。