数据库操作的准备1、开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式，my.cnf 中配置如下:vi /etc/my.cnf[mysqld]log-bin=mysql-bin # 开启 binlogbinlog-format=ROW # 选择 ROW 模式server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复重启 MySQL[root@localhost etc]# systemctl restart mysql查看下binlog是否开启，如果值为on 代表开启。SHOW VARIABLES LIKE \'log_bin\';查看binlog的格式show variables like \'%binlog_format%\';https://dev.mysql.com/doc/refman/8.4/en/https://dev.mysql.com/doc/refman/8.4/en/show-master-status.html8.4中已经没有SHOW MASTER STATUS;这条命令，需要用SHOW BINARY LOG STATUSSHOW MASTER STATUS; 是一条 MySQL 查询命令，用于获取当前 MySQL 服务器作为主服务器时的二进制日志状态。这条命令对于设置从服务器的复制非常有用，因为它提供了从服务器需要的信息，以便知道从哪里开始复制数据。SHOW BINARY LOG STATUSbinlog.000034 1582、授权 canal 链接 MySQL 账号具有作为 MySQL slave 的权限, 如果已有账户可直接 grantCREATE USER canal IDENTIFIED BY \'canal\';GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO \'canal\'@\'%\';-- GRANT ALL PRIVILEGES ON *.* TO \'canal\'@\'%\' ;FLUSH PRIVILEGES;MySQL的slave需要的权限说明如下：REPLICATION SLAVE权限，这是Slave服务器必须拥有的最重要的权限。它允许Slave服务器连接到Master服务器并获取复制数据。如果Slave服务器没有REPLICATION SLAVE权限，它将无法连接到Master服务器并执行复制操作。REPLICATION CLIENT权限，这个权限允许Slave服务器向Master服务器发送查询语句以获取复制数据。如果Slave服务器没有REPLICATION CLIENT权限，它将无法向Master服务器发送查询语句，从而无法获取复制数据。SELECT权限，Slave服务器需要SELECT权限来读取Master服务器上的数据。如果Slave服务器没有SELECT权限，它将无法获取Master服务器上的数据，从而无法保持与Master服务器的同步。查看权限SHOW grants for \'canal\'显示：GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO `canal`@`%`1、下载用1.1.7这个版本比较稳定1.1https://github.com/alibaba/canal/releases/tag/canal-1.1.71.2 解压缩和修改配置mkdir canalmkdir canal-admintar -zxvf canal.deployer-1.1.7.tar.gz -C canal/tar -zxvf canal.admin-1.1.7.tar.gz -C canal-admin/修改conf下的canal.properties，主要改绑定的IP，注意:最好改成IP，别用127.0.0.1，因为要是程序和代码没在一台机器的话连不上。[root@localhost conf]# vi canal.properties# tcp bind ipcanal.ip = 192.168.150.50修改/conf/example下的 instance.propertiescanal.instance.master.address=192.168.3.70:3306# username/password这个是要同步的数据库的账号和密码这个里用的canal,前提是得提前在数据库里创建canal的账号和授权。canal.instance.dbUsername=canalcanal.instance.dbPassword=canal1.3启动/usr/local/software/canal/conf/usr/local/software/canal/bin看日志/usr/local/software/canal/logs/canal/usr/local/software/canal/bin./startup.sh./stop.sh
使用注意事项： 1）修改canal.admin-1.1.7\\conf和/canal/conf下的application.yml 启动的驱动driver-class-name: com.mysql.cj.jdbc.Driver 2) java21去掉admin和canal bin目录下startup.sh里的java8的参数。删除掉：-XX:+AggressiveOpts -XX:-UseBiasedLocking 3）启动提示druid找不到将druid的jar包放在lib目录就可以了。druid-1.2.22.jar测试通过https://repo1.maven.org/maven2/com/alibaba/druid/1.2.22/ 2、加入依赖，Canal TCP模式需要的依赖 com.alibaba.otter canal.client 1.1.7 com.alibaba.otter canal.protocol 1.1.73、canal 1.1.7 只能同步mysql8.0下的版本，mysql8.4版本的收不到消息。版本的观念要建立起来，或者我哪弄的不对。4、RocketMQ 监听 canal的变化。1）启动 RocketMQ2）修改canal.properties# tcp, kafka, rocketMQ, rabbitMQ, pulsarMQcanal.serverMode = rocketMQ3）写消费的监听者参考RocketMQTool类import com.alibaba.fastjson2.JSON;import com.alibaba.fastjson2.JSONObject;import com.demo.demo.entity.CanalBinlog;import org.apache.rocketmq.shaded.com.google.gson.Gson;import org.apache.rocketmq.spring.annotation.RocketMQMessageListener;import org.apache.rocketmq.spring.core.RocketMQListener;import org.springframework.stereotype.Component;/** * canal.properties 设置生产者组rocketmq.producer.group = test 用的默认组 * example/instance.properties 修改主题 canal.mq.topic=rocketmq_toppic_01 */@Component@RocketMQMessageListener(topic = \"example\", consumerGroup = \"test\", selectorExpression=\"*\")public class RocketMQTool implements RocketMQListener { private Gson gson = new Gson(); @Override public void onMessage(String mqJson){ CanalBinlog canalBinlog = gson.fromJson(mqJson, CanalBinlog.class); System.out.println(mqJson); System.out.println(canalBinlog); CanalBinlog canalBinlog2 = JSON.parseObject(mqJson, CanalBinlog.class); System.out.println(\"fastJson: \"+JSON.toJSONString(canalBinlog2)); }}
import java.util.List;import java.util.Map;@Datapublic class CanalBinlog { // 数据 private List<Map> data; // 数据库名称 private String database; private long es; // 递增，从1开始 private int id; // 是否是DDL语句 private boolean isDdl; // 表结构的字段类型 private Map mysqlType; private List<Map> old; // 主键名称 private List pkNames; // sql语句 private String sql; private Map sqlType; // 表名 private String table; private long ts; // INSERT、UPDATE、DELETE、ERASE(删除表) private String type;}
