大数据技术之Canal入门篇

举报
WHYBIGDATA 发表于 2023/02/11 07:45:20 2023/02/11
【摘要】 大数据技术之Canal入门篇

大数据技术之Canal入门篇

写在前面

  • Canal版本：Canal-1.1.2

官网：https://github.com/alibaba/canal/

官方文档：https://github.com/alibaba/canal/wiki

第 1 章 Canal 入门

1.1 什么是 Canal

阿里巴巴 B2B 公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了同步杭州和美国异地机房的需求，从 2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。

Canal 是用 Java 开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前。Canal 主要支持了 MySQL 的 Binlog 解析，解析完成后才利用 Canal Client 来处理获得的相关数据。（数据库同步需要阿里的 Otter 中间件，基于 Canal）。

1.2 MySQL 的Binlog

1.2.1 什么是 Binlog

MySQL 的二进制日志可以说 MySQL 最重要的日志了，它记录了所有的 DDL 和 DML(除了数据查询语句)语句，以事件形式记录，还包含语句所执行的消耗的时间，MySQL 的二进制日志是事务安全型的。

一般来说开启二进制日志大概会有 1%的性能损耗。二进制有两个最重要的使用场景:

  • 其一：MySQL Replication 在Master 端开启Binlog，Master 把它的二进制日志传递给Slaves来达到 Master-Slave 数据一致的目的。
  • 其二：自然就是数据恢复了，通过使用 MySQL Binlog 工具来使恢复数据。

二进制日志包括两类文件：二进制日志索引文件（文件名后缀为.index）用于记录所有的二进制文件，二进制日志文件（文件名后缀为.00000*）记录数据库所有的 DDL 和 DML(除了数据查询语句)语句事件。

1.2.2 Binlog 的分类

MySQL Binlog 的格式有三种，分别是 STATEMENT,MIXED,ROW。在配置文件中可以选择配置 binlog_format= statement|mixed|row。三种格式的区别：

1）statement：语句级，binlog 会记录每次一执行写操作的语句。相对 row 模式节省空间，但是可能产生不一致性，比如update tt set create_date=now()，如果用 binlog 日志进行恢复，由于执行时间不同可能产生的数据就不同。

  • 优点：节省空间。
  • 缺点：有可能造成数据不一致。

2）row：行级， binlog 会记录每次操作后每行记录的变化。

  • 优点：保持数据的绝对一致性。因为不管 sql 是什么，引用了什么函数，他只记录执行后的效果。
  • 缺点：占用较大空间。

3）mixed：statement 的升级版，一定程度上解决了，因为一些情况而造成的statement模式不一致问题，默认还是 statement，在某些情况下譬如：

  • 当函数中包含 UUID() 时；
  • 包含 AUTO_INCREMENT 字段的表被更新时；
  • 执行 INSERT DELAYED 语句时；用 UDF 时；会按照 ROW 的方式进行处理

优缺点：

  • 优点：节省空间，同时兼顾了一定的一致性。
  • 缺点：还有些极个别情况依旧会造成不一致，另外 statement 和 mixed 对于需要对

binlog 的监控的情况都不方便。

综合上面对比，Canal 想做监控分析，选择row 格式比较合适。

1.3 Canal 的工作原理

1.3.1 MySQL 主从复制过程

  • Master 主库将改变记录，写到二进制日志(Binary Log)中；
  • Slave 从库向 MySQL Master 发送 dump 协议，将 Master 主库的 binary log events 拷贝到它的中继日志(relay log)；
  • Slave 从库读取并重做中继日志中的事件，将改变的数据同步到自己的数据库。

image.png

1.3.2 Canal 的工作原理

很简单，就是把自己伪装成 Slave，假装从 Master 复制数据。

1.4 使用场景

  • 原始场景： 阿里 Otter 中间件的一部分

Otter 是阿里用于进行异地数据库之间的同步框架，Canal 是其中一部分。

image.png

  • 常见场景 1：更新缓存

image.png

  • 常见场景 2：抓取业务表的新增变化数据，用于制作实时统计（我们就是这种场景）

第 2 章 MySQL 的准备

2.1 创建数据库

image.png

2.2 创建数据表

CREATE TABLE user_info(
`id` VARCHAR(255),
`name` VARCHAR(255),
`sex` VARCHAR(255)
);

2.3 修改配置文件开启Binlog

[whybigdata@node01 module]$ sudo vim /etc/my.cnf 
server-id=1  #配置mysql replaction需要定义，不能和canal的slaveId重复  
log-bin=mysql-bin 
binlog_format=row 
binlog-do-db=gmall-2021

注意：binlog-do-db 根据自己的情况进行修改，指定具体要同步的数据库，如果不配置则表示所有数据库均开启Binlog

2.4 重启 MySQL 使配置生效

sudo systemctl restart mysqld

到/var/lib/mysql 目录下查看初始文件大小:154

[whybigdata@node01 lib]$ pwd
/var/lib
[whybigdata@node01 lib]$ sudo ls -l mysql
总用量 474152
-rw-r-----. 1 mysql mysql	56 8 月	7 2020 auto.cnf
drwxr-x---. 2 mysql mysql	4096 9 月  25 2020 azkaban
-rw-------. 1 mysql mysql	1680 8 月	7 2020 ca-key.pem
-rw-r--r--. 1 mysql mysql	1112 8 月	7 2020 ca.pem
drwxr-x--- 2 mysql mysql	4096 8 月  18 16:56 cdc_test
-rw-r--r--. 1 mysql mysql	1112 8 月	7 2020 client-cert.pem
-rw-------. 1 mysql mysql	1676 8 月	7 2020 client-key.pem
drwxr-x---. 2 mysql mysql	4096 9 月  25 2020 gmall_report
-rw-r----- 1 mysql mysql	1085 12 月  1 09:12 ib_buffer_pool
-rw-r-----. 1 mysql mysql 79691776 12 月 13 08:45 ibdata1
-rw-r-----. 1 mysql mysql 50331648 12 月 13 08:45 ib_logfile0
-rw-r-----. 1 mysql mysql 50331648 12 月 13 08:45 ib_logfile1
-rw-r----- 1 mysql mysql 12582912 12 月 13 08:45 ibtmp1
drwxr-x--- 2 mysql mysql	4096 9 月  22 15:30 maxwell
drwxr-x---. 2 mysql mysql	4096 8 月  12 2020 metastore
drwxr-x---. 2 mysql mysql	4096 9 月  22 15:43 mysql
-rw-r-----. 1 mysql mysql	154 12 月 13 08:45 mysql-bin.000001
-rw-r----- 1 mysql mysql	19 12 月 13 08:45 mysql-bin.index
srwxrwxrwx 1 mysql mysql	0 12 月 13 08:45 mysql.sock
-rw------- 1 mysql mysql	5 12 月 13 08:45 mysql.sock.lock
drwxr-x---. 2 mysql mysql	4096 8 月	7 2020 performance_schema
-rw-------. 1 mysql mysql	1680 8 月	7 2020 private_key.pem
-rw-r--r--.	1	mysql	mysql	452 8 月	7 2020 public_key.pem
-rw-r--r--.	1	mysql	mysql	1112 8 月	7 2020 server-cert.pem
-rw	--.	1	mysql	mysql	1680 8 月	7 2020 server-key.pem
drwxr-x---.	2	mysql	mysql	12288 8 月	7 2020 sys
drwxr-x--- 2 mysql mysql	4096 2 月	2 2021 test
[whybigdata@node01 lib]$

可以看到，mysql-bin.000001文件大小为154

2.5 测试 Binlog 是否开启

  • 插入数据
INSERT INTO user_info VALUES('1001','zhangsan','male');
  • 再次到/var/lib/mysql 目录下，查看index 文件的大小
-rw	--.	1	mysql	mysql	1680 8 月	7 2020 ca-key.pem
-rw-r--r--.	1	mysql	mysql	1112 8 月	7 2020 ca.pem
drwxr-x---	2	mysql	mysql	4096 8 月  18 16:56 cdc_test
-rw-r--r--.	1	mysql	mysql	1112 8 月	7 2020 client-cert.pem
-rw	--.	1	mysql	mysql	1676 8 月	7 2020 client-key.pem
drwxr-x---.	2	mysql	mysql	4096 9 月  25 2020 gmall_report
-rw-r-----	1	mysql	mysql	1085 12 月  1 09:12 ib_buffer_pool
-rw-r-----.	1	mysql	mysql	79691776 12 月 13 08:45 ibdata1
-rw-r-----.	1	mysql	mysql	50331648 12 月 13 08:45 ib_logfile0
-rw-r-----.	1	mysql	mysql	50331648 12 月 13 08:45 ib_logfile1
-rw-r-----	1	mysql	mysql	12582912 12 月 13 08:45 ibtmp1
drwxr-x---	2	mysql	mysql	4096 9 月  22 15:30 maxwell
drwxr-x---.	2	mysql	mysql	4096 8 月  12 2020 metastore
drwxr-x---.	2	mysql	mysql	4096 9 月  22 15:43 mysql
-rw-r-----.	1	mysql	mysql	452 12 月 13 08:45 mysql-bin.000001
-rw-r-----	1	mysql	mysql	19 12 月 13 08:45 mysql-bin.index
srwxrwxrwx	1	mysql	mysql	0 12 月 13 08:45 mysql.sock
-rw-------	1	mysql	mysql	5 12 月 13 08:45 mysql.sock.lock
drwxr-x---.	2	mysql	mysql	4096 8 月	7 2020 performance_schema
-rw	--.	1	mysql	mysql	1680 8 月	7 2020 private_key.pem
-rw-r--r--.	1	mysql	mysql	452 8 月	7 2020 public_key.pem
-rw-r--r--.	1	mysql	mysql	1112 8 月	7 2020 server-cert.pem
-rw	--.	1	mysql	mysql	1680 8 月	7 2020 server-key.pem
drwxr-x---.	2	mysql	mysql	12288 8 月	7 2020 sys
drwxr-x--- 2 mysql mysql	4096 2 月	2 2021 test
[whybigdata@node01 lib]$

可以看到，mysql-bin.000001文件大小变大了（452）

2.6 赋权限

在 MySQL 中执行：修改MySQL密码长度；赋予canal用户select权限

mysql> set global validate_password_length=4; 
mysql> set global validate_password_policy=0;
mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO
'canal'@'%' IDENTIFIED BY 'canal' ;

查看mysql库下的user表

image.png

第 3 章 Canal 的下载和安装

3.1 下载并解压 Jar 包

https://github.com/alibaba/canal/releases

下载完之后 将canal.deployer-1.1.2.tar.gz 拷贝到/opt/sortware目录下，然后解压到/opt/module/canal-1.1.2 包下

注意：canal 解压后是分散的，我们在指定解压目录的时候需要将canal 指定上

3.2 修改 canal.properties 的配置

[whybigdata@node01 conf]$ pwd
/opt/module/canal/conf
[whybigdata@node01 conf]$ vim canal.properties #################################################
#########	common argument	############# #################################################
canal.id = 1 canal.ip = canal.port = 11111
canal.metrics.pull.port = 11112 canal.zkServers =
# flush data to zk canal.zookeeper.flush.period = 1000 canal.withoutNetty = false
# tcp, kafka, RocketMQ canal.serverMode = tcp
# flush meta cursor/parse position to file

说明：这个文件是 canal 的基本通用配置，canal 端口号默认就是 11111，修改 canal 的输出 model，默认 tcp，改为输出到kafka

多实例配置如果创建多个实例，通过前面 canal 架构，我们可以知道，一个 canal 服务中可以有多个instance，conf/下的每一个 example 即是一个实例，每个实例下面都有独立的配置文件。默认只有一个实例 example，如果需要多个实例处理不同的 MySQL 数据的话，直接拷贝出多个 example，并对其重新命名，命名和配置文件中指定的名称一致，然后修改 canal.properties 中的 canal.destinations=实例 1，实例 2，实例 3。

#################################################
#########	destinations	############# #################################################
canal.destinations = example

3.3 修改instance.properties

我们这里只读取一个 MySQL 数据，所以只有一个实例，这个实例的配置文件在conf/example 目录下

[whybigdata@node01 example]$ pwd
/opt/module/canal/conf/example
[whybigdata@node01 example]$ vim instance.properties
  • 配置 MySQL 服务器地址

Note：canal.instance.mysql.slaveId的值不能跟/etc/my.cnf的server-id值一样；因为canal相当于一个从节点，主从复制时，server-id就不能一样。

#################################################
## mysql serverId , v1.0.26+ will autoGen 
canal.instance.mysql.slaveId=20

# enable gtid use true/false 
canal.instance.gtidon=false

# position info 
canal.instance.master.address=node01:3306
  • 配置连接 MySQL 的用户名和密码，默认就是我们前面授权的canal
# username/password	
canal.instance.dbUsername=canal 
canal.instance.dbPassword=canal 

canal.instance.connectionCharset = UTF-8 
canal.instance.defaultDatabaseName =test 
# enable druid Decrypt database password 
canal.instance.enableDruid=false

案例测试Error说明

报错信息：查看日志，在canal安装目录下的logs/canal/canal.log，前提是canal.properties的配置项canal.destinations = example 没有更改，如果是更改为【test_xxx】,则日志位于canal安装目录下的logs/test_xxx/test_xxx.log

[whybigdata@node01 canal]$ cat canal.log
2023-01-07 15:10:56.713 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## set default uncaught exception handler
2023-01-07 15:10:56.759 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## load canal configurations
2023-01-07 15:10:56.771 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## start the canal server.
2023-01-07 15:10:56.851 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[192.102.153.10(192.102.153.10):11111]
2023-01-07 15:10:58.627 [main] INFO  com.alibaba.otter.canal.deployer.CanalStarter - ## the canal server is running now ......
2023-01-07 15:10:58.822 [canal-instance-scan-0] INFO  com.alibaba.otter.canal.deployer.CanalController - auto notify start doris-load successful.
2023-01-07 15:15:34.251 [New I/O server worker #1-1] ERROR c.a.otter.canal.server.netty.handler.SessionHandler - something goes wrong with channel:[id: 0x71dc2f6d, /192.102.153.1:57500 => /192.102.153.10:11111], exception=java.io.IOException: Connection reset by peer
        at sun.nio.ch.FileDispatcherImpl.read0(Native Method)
        at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39)
        at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223)
        at sun.nio.ch.IOUtil.read(IOUtil.java:192)
        at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:380)
        at org.jboss.netty.channel.socket.nio.NioWorker.read(NioWorker.java:322)
        at org.jboss.netty.channel.socket.nio.NioWorker.processSelectedKeys(NioWorker.java:281)
        at org.jboss.netty.channel.socket.nio.NioWorker.run(NioWorker.java:201)
        at org.jboss.netty.util.internal.IoWorkerRunnable.run(IoWorkerRunnable.java:46)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)

关于这个error，我查找了一些资料，但是都没有帮助

https://github.com/alibaba/canal/issues/3585

同时也遇到过下面的error

https://github.com/alibaba/canal/issues/640

实时监控MySQL数据不成功

原因：因为一开始解压canal的时候，没有先创建一个安装目录，直接将canal解压了，导致canal的目录分散了，然后就将分散的目录都移动到新建的目录canal-1.1.5下

解决方法：

直接删除掉canal-1.1.5目录即可，重新解压安装canal

官方文档参考

  • AdminGuide

https://github.com/alibaba/canal/wiki/AdminGuide

  • ClientAPI

https://github.com/alibaba/canal/wiki/ClientAPI

  • ClientExample

https://github.com/alibaba/canal/wiki/ClientExample

结束！

【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱： cloudbbs@huaweicloud.com
MySQL 大数据
  • 点赞
  • 收藏
  • 关注作者

评论（0）

0/1000
抱歉，系统识别当前为高风险访问，暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称，即可参与社区互动！

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

确认 取消

加入云驻计划，成为创作者

  • 华为云周边好礼
  • 免费体验产品
  • 特殊身份标识
  • 线下官方门票
  • 内部专家零距离
  • 与10000+优质创作者共同成长
立即加入