Canal介绍以及应用
Canal介绍以及应用
应用场景:
canal [kə'næl],译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费
早期阿里巴巴因为杭州和美国双机房部署,存在跨机房同步的业务需求,实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始,业务逐步尝试数据库日志解析获取增量变更进行同步,由此衍生出了大量的数据库增量订阅和消费业务。
基于日志增量订阅和消费的业务包括
- 数据库镜像
- 数据库实时备份
- 索引构建和实时维护(拆分异构索引、倒排索引等)
- 业务 cache 刷新
- 带业务逻辑的增量数据处理
当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x
工作原理:
MySQL主备复制原理:
- MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events,可以通过 show binlog events 进行查看)
- MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
- MySQL slave 重放 relay log 中事件,将数据变更反映它自己的数据
canal 工作原理:
- canal 模拟 MySQL slave 的交互协议,伪装自己为 MySQL slave ,向 MySQL master 发送dump 协议
- MySQL master 收到 dump 请求,开始推送 binary log 给 slave (即 canal )
- canal 解析 binary log 对象(原始为 byte 流)
Canal环境搭建:
canal的原理是基于mysql binlog技术,所以这里一定需要开启mysql的binlog写入功能
开启mysql服务: service mysql start (或者 systemctl start mysqld.service)
1.检查binlog功能是否有开启
mysql> show variables like 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin | OFF |
+---------------+-------+
1 row in set (0.00 sec)
2.如果显示状态为OFF表示该功能未开启,开启binlog功能
1,修改 mysql 的配置文件 my.cnf
vi /etc/my.cnf
追加内容:
log-bin=mysql-bin #binlog文件名
binlog_format=ROW #选择row模式
server_id=1 #mysql实例id,不能和canal的slaveId重复2,重启 mysql:
service mysql restart3,登录 mysql 客户端,查看 log_bin 变量
mysql> show variables like 'log_bin';
+---------------+-------+
Variable_name Value +---------------+-------+
log_bin ON +---------------+-------+
1 row in set (0.00 sec)
————————————————
如果显示状态为ON表示该功能已开启
3.在mysql里面添加以下的相关用户和权限
CREATE USER 'canal'@'%' IDENTIFIED BY 'canal';
GRANT SHOW VIEW, SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
FLUSH PRIVILEGES;
下载安装Canal服务
下载地址:
https://github.com/alibaba/canal/releases
下载之后,放到目录中,解压文件**
cd `/usr/local/canal`
tar zxvf canal.deployer-1.1.4.tar.gz
修改配置文件
vi conf/example/instance.properties
#需要改成自己的数据库信息
canal.instance.master.address=192.168.44.132:3306
#需要改成自己的数据库用户名与密码
canal.instance.dbUsername=canal
canal.instance.dbPassword=canal
#需要改成同步的数据库表规则,例如只是同步一下表
#canal.instance.filter.regex=.*\\..*
canal.instance.filter.regex=guli_ucenter.ucenter_member
进入bin目录下启动
sh bin/startup.sh
最新文章
- Teleport Ultra 下载网页修复
- [转载]深入了解 Struts 1.1
- linux centos使用xrdp远程界面登陆
- .Net的错误机制
- iOS-修改Status Bar
- Deep Learning 深度学习 学习教程网站集锦
- C# Oracle海量数据瞬间插入到数据库的方法
- hdu3452 无向树去掉最小的边集使不论什么叶子与根不连通 / 最小割
- Javascript教程
- MD5加密工具
- jquery各大学选择插件
- JavaScript中大数相加的解法
- React(v16.8.4)生命周期详解
- 【算法】LeetCode算法题-Merge Two Sorted List
- ABP 番外篇-菜单
- 浏览器支持webp格式
- Spring(2)—IOC
- layui---事件监听
- MG90S 舵机 使用方法 树莓派
- hihoCoder 1515 分数调查(带权并查集)
热门文章
- 如何使用阿里云云解析API实现动态域名解析,搭建私有服务器
- [EF] - Entity Framework 6处理User Defined Function(UDF SQL Server)
- 前后端分离项目获取后端跨控制器获取不到session
- Qt学习笔记-设计简易的截图工具软件
- IT 界那些朗朗上口的“名言
- 注意力论文解读(1) | Non-local Neural Network | CVPR2018 | 已复现
- Beta冲刺——汇总随笔
- 十、scala、spark集群搭建
- 在.NET Core中使用Channel(三)
- idea thymeleaf页面变量报错解决