皇上,还记得我吗?我就是1999年那个Linux伊甸园啊-----24小时滚动更新开源资讯,全年无休!

canal 1.1.2 发布,阿里 MySQL Binlog 增量订阅& 消费组件

canal 1.1.2 已发布,更新内容如下:

功能新增

  1. 支持 mysql8.0 的 binlog 解析【BinlogChange(MySQL8)
  2. canal 提供内置的客户端能力【ClientAdapter
    • 同步到 HBase wiki
    • 同步到 Rdb(支持 mysql/pg/oracle/sqlserver) wiki
    • 同步到 ES wiki
    • 目前 adapter 为支持更多常见的目标存储,会处于快速迭代中,不同版本之间会有接口调整,请及时关注文档
  3. RocketMQ 消息支持直接投递至 aliyun ons(RocketMQ 云服务) #1169

功能重构

  1. MQ 消息发送的配置相关从 mq.yml 调整至 canal.properties,支持了 auto scan 的能力,请关注最新的配置文档 wiki

小需求&bugfix

  1. 修复 mysql binlog 文件名解析乱码问题 #1189
  2. 修复修复 TableMeta TSDB 在每天定时 snapshot 因 filter 变化导致失败 #1168
  3. 修复 canal docker 支持 MQ 模式启动失败问题 #1087
  4. 修复 TableMeta TSDB 支持 int display width 不一致问题 #1100
  5. 修复 rocketmq&kafka 发送消息失败时回滚后继续提交的问题 #1104
  6. 修复 alter rename 的 ddl 类型解析错误的问题 #1103
  7. 修复 FlatMessage 中 data 过滤掉了 value null 的 column #1120
  8. 优化 aliyun rds oss binlog 下载的能力,支持基于位点自动回溯 #1076

canal 是阿里巴巴 MySQL 数据库 Binlog 的增量订阅& 消费组件。

早期,阿里巴巴 B2B 公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主要是基于 trigger 的方式获取增量变更,不过从 2010 年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅& 消费的业务,从此开启了一段新纪元。

ps. 目前内部版本已经支持 mysql 和 oracle 部分版本的日志解析,当前的 canal 开源版本支持 5.7 及以下的版本 (阿里内部 mysql 5.7.13, 5.6.10, mysql 5.5.18 和 5.1.40/48 )

基于日志增量订阅& 消费支持的业务:

  1. 数据库镜像
  2. 数据库实时备份
  3. 多级索引 (卖家和买家各自分库索引)
  4. search build
  5. 业务 cache 刷新
  6. 价格变化等重要业务消息

转自 https://www.oschina.net/news/102200/canal-1-1-2-released

分享到:更多 ()