皇上,还记得我吗?我就是1999年那个Linux伊甸园啊-----24小时滚动更新开源资讯,全年无休!

阿里巴巴 canal 开源组件发布 v1.1.3 版本

canal 是阿里巴巴在 2012 年开源的基于 MySQL 数据库增量日志解析,提供增量数据订阅&消费。基于 canal 的准实时日志订阅消费,你可以完成类似的业务:

  1. 同步到另一个数据库,比如异地容灾、同步离线库等
  2. 构建多级索引 (卖家和买家各自分库索引)
  3. 实时构建搜索引擎,比如同步给 elasticsearch
  4. 业务 cache 刷新
  5. 价格变化等重要业务消息

项目开源地址:https://github.com/alibaba/canal。经历了 4 个月的蛰伏,canal 1.1 系列的 1.1.3 正式发布了,主要围绕自建的生态能力,完善消息投递到 MQ 和 Client Adapter 做了比较多的测试和修复工作,具体的变更日志:

功能新增

  1. 支持 MySQL 8.0 新的 caching_sha2_password 认证协议
  2. 支持 Azure MySQL 的认证协议
  3. canal 投递 MQ 消息【MQ投递】
    • 支持按表规则定义 dynamic topic、partition 路由的能力
    • 新增 kafka 消息投递事务
  4. canal 内置的客户端【ClientAdapter】
    • rds-adapter 增加 MySQL 整个 DB 层面的同步配置
    • es-adapter 新增父子文档索引适配

小需求 & bugfix

  1. 解决 server 单核服务器无法接收数据的问题 #1605
  2. 修复 TableMeta TSDB 支持 utf8mb4 #1550
  3. 修复 MQ 消息发送时非 flatMessage 模式出现数据重复 #1551
  4. 修复 Kafka 配置为分区模式时出现数据 #1636
  5. 修复 fastsql 的几个 DDL 解析问题 #1306 #1546 #1626
  6. 修复 rdb-adapter 同步的类型转化、空指针、大小写、DDL 同步等问题 #1313 #1338 #1341 #1408 #1433
  7. 修复投递 MQ 模式,Canal server HA 在切换后不生效 #1229
  8. 修复 es-adapter 数据库主键类型错误 #1559
  9. 修复 charset 编码不存在 #1662

更多详情,可以参见 https://github.com/alibaba/canal/releases

canal 工作原理

原理相对比较简单:

  1. canal 模拟 MySQL slave 的交互协议,伪装自己为 MySQL slave,向 MySQL master 发送 dump 协议
  2. MySQL master 收到 dump 请求,开始推送 binary log 给 slave(也就是 canal)
  3. canal 解析 binary log 对象(原始为 byte 流)

canal 整体架构

说明:

  • server 代表一个 canal 运行实例,对应于一个 jvm
  • instance 对应于一个数据队列 (1个 server 对应 1..n 个 instance)

instance 模块:

  • eventParser (数据源接入,模拟 slave 协议和 master 进行交互,协议解析)
  • eventSink (Parser 和 Store 链接器,进行数据过滤、加工、分发的工作)
  • eventStore (数据存储)
  • metaManager (增量订阅&消费信息管理器)

整个 canal-server 可以有两种交付方式

  1. client/server 架构,可以独立部署一个 canal server 进程去抓取 MySQL binlog,然后业务代码里启动1个或多个 canal client 来做消费。优点:开箱即用,运维简单
  2. 嵌入式架构,允许业务代码里启动 canal server 直接来做消费。优点:方便和业务系统做集成

canal 相比于其他开源的 binlog 产品,比如 open-replicator、mysql-binlog-connector-java、Tungsten Replicator、maxwell 有比较多的优势:

  1. 高可用性。canal 支持 MySQL 主备、server 和 client 多个层面的高可用机制,可以作为生产使用
  2. 跨语言。canal 的通讯协议选择了 protobuf 3.6.1,client 层面目前支持 java、c#、go 多个语言的客户端
  3. 整体性。canal 支持增量数据投递到 MQ,同时引入 Client Adpater 扩展机制,目前支持 rdb、elasticsearch、hbase 等目标的写入

来源 DRDS乐园

分享到:更多 ()