我很荣幸地宣布Debezium 1.6系列的第一个版本,开云体育官方注册网址1.6.0.Alpha1

这个版本为MySQL和PostgreSQL连接器带来了称为增量快照的全新功能,为Debezium服务器带来了Kafka接收器,以及广泛的错误修复和其他小功能的添加。开云体育官方注册网址

增量快照

运行Debezi开云体育官方注册网址um几乎没有什么痛点

  • 在新连接器重新启动流之前,必须执行一致的快照

  • 在连接器运行一段时间后,无法触发完整或部分快照

从这个版本开始,我们将针对这两个潜在的缺陷部署解决方案。

一个更简单的问题——在运行时触发快照的能力是通过特别的快照.用户可以在流阶段的任何时候通过发送execute-snapshot信号使用要开云体育官方注册网址快照的表列表和要使用的快照类型(仅增量现在支持,请参见下面)。当Debe开云体育官方注册网址zium接收到信号时,它将执行所请求表的快照。

与临时快照密切相关的更复杂的部分是增量快照.该特性允许用户在流处理阶段执行一组表的快照,而不中断流处理。此外,与初始快照相反,快照将在连接器重新启动时恢复,而不需要再次从头开始。

该特性的实现基于一种新颖的快照方法,该方法最初由DBLog框架.开云体育官方注册网址中更详细地描述了Debezium实现设计文档

如果你想自己尝试这个功能,那你就必须这么做

  • 提供一个信号表

  • 通过使用SQL命令来触发临时增量快照

INSERT INTO myschema.开云体育官方注册网址debezium_signal VALUES('ad-hoc-1', 'execute-snapshot', '{"data-collections": ["schema。表1”、“schema1.table2”]}’)

Kafka Sink for 开云体育官方注册网址Debezium Server

开云体育官方注册网址Debezium连接器既可以在Kafka Connect中运行,也可以使用开云体育官方注册网址Debezium服务器它提供了不同的目标接收器。从这个版本开始,如果一个接收器是Apache Kafka,那么不再需要使用Kafka Connect,而是使用Debezium Server with开云体育官方注册网址Apache Kafka Sink可以用来代替,这可以简化某些部署的操作需求。在这种情况下,使用常规的Apache Kafka客户端API。

总而言之,47个问题修复了此版本。非常感谢所有做出贡献的社区成员:Alfusainey杰Bingqin周侯赛因TorabiKyley Jex马丁·佩雷斯帕特里克·楚拉斐尔Auv汤米KarlssonWenChao柯,yangsanity

对于即将发布的1.6预览版,我们计划重点完成增量快照的后续任务,并提供对SQL Server和Db2连接器的支持,进一步改进基于logminer的Oracle连接器实现,主要涉及模式演进和LOB支持。

雅罗西克Pechanec

Jiri是Red Hat的软件开发人员(前质量工程师)。他职业生涯的大部分时间都花在Java和系统集成项目和任务上。他住在捷克共和国布尔诺附近。


关于Debe开云体育官方注册网址zium

开云体育官方注册网址Debezium是一个开源的分布式平台,它将现有数据库转换为事件流,因此应用程序几乎可以立即看到并响应数据库中提交的每一个行级更改。开云体育电动老虎机开云体育官方注册网址Debezium是建立在卡夫卡并提供卡夫卡连接监控特定数据库管理系统的兼容连接器。开云体育电动老虎机开云体育官方注册网址Debezium在Kafka日志中记录了数据更改的历史,所以你的应用程序可以在任何时候停止和重新启动,并且可以很容易地使用它没有运行时错过的所有事件,确保所有事件都被正确和完整地处理。开云体育官方注册网址Debezium是开源Apache许可证,版本2.0

参与

我们希望您觉得Debezium有趣开云体育官方注册网址且有用,并愿意尝试一下。在Twitter上关注我们@开云体育官方注册网址debezium在Zulip上和我们聊天,或加入我们的邮件列表与社区对话。所有的代码都是开源的GitHub上,因此在本地构建代码并帮助我们改进现有连接器并添加更多连接器。如果您发现了问题或对我们如何改进Debezium有想法,请告诉我们开云体育官方注册网址记录问题

Baidu
map