今年只剩下几天了,是时候发布另一个Debezium了;开云体育官方注册网址所以我很高兴地宣布Debezium开云体育官方注册网址0.9.0.Beta2

此版本支持MySQL 8和Oracle 11g;它包括用于监视SQL Server和Oracle连接器的第一个度量,对MongoDB事件扁平化SMT的几个改进以及广泛的错误修复。总的来说,不少于42个问题是解决;很明显,必须有更深层的意义在那里;)

向Debezium社区的以下成员表示感谢,他们为这次发布做出了贡献:开云体育官方注册网址埃罗KoplimetsGrzegorz Kołakowski翰林刘老美雷纳托MefiTautvydas JanuskeviciusWout Scheepers而且郑王

下面,让我们仔细看看0.9 Beta2发行版带来的一些变化。

SQL Server和Oracle连接器的监视和度量

下面以MySQL连接器为例,用于SQL Server而且甲骨文现在通过JMX (dbz - 978).这包括自上一次CDC事件以来的时间、上一次事件的偏移量、事件的总数、在做快照时剩余的和已经扫描的表等等。请参阅监控文档有关如何启用JMX的详细信息。下图显示了在OpenJDK中显示值的示例任务控制工具:

监控Debezium SQL 开云体育官方注册网址Server连接器

我们计划在未来的版本中扩展公开的指标集,并使它们可用于Postgres和MongoDB。请在JIRA问题上发表评论,让我们知道您希望看到的指标dbz - 1040

作为奖励,我们还创建了一个Grafana仪表板来可视化所有相关指标:

Grafana中的连接器度量

我们很快会在博客上更详细地介绍监控和仪表板;但如果你感兴趣,你可以看一下这个演示在我们的示例库中。

混杂。特性

“snapshot.delay.ms”选项已经从开云体育官方注册网址Debezium MySQL连接器现在也可用于所有其他Debezium连接器(开云体育官方注册网址dbz - 966).这在Kafka Connect集群中部署多个连接器时非常方便,这可能会导致集群中的连接器重新平衡,中断并重新启动已经部署的连接器实例的运行快照。可以通过指定一个延迟来避免这种情况,该延迟允许等待快照直到重新平衡阶段完成。

MongoDB CDC事件平坦化转换得到了一些改进:

  • 对MongoDB的支持美元的设置操作符(dbz - 612

  • 支持完整的文档更新(dbz - 987

  • 删除删除和墓碑消息的新选项(dbz - 563

  • 选项将原始操作类型作为头参数(dbz - 971);该选项也可用于压扁SMT对于关系连接器,在接收器连接器需要区分插入和更新的情况下可能很有用

错误修复

和往常一样,我们也修复了大量Debezium用户报告的bug。开云体育官方注册网址这些固定问题包括:

请参阅更改日志有关已解决问题的完整列表。

下一个步骤

我们计划在1月初发布Debezium 0.9的候选版本。开云体育官方注册网址如果没有出现严重问题,Debezium 0.9.0。开云体育官方注册网址最终版应该会在一月底出来。对于CR,我们主要安排了一些进一步的错误修复,改进SQL Server连接器和添加进一步的指标。

同时,我们将再次将注意力集中在Oracle连接器上,最后回到期待已久的基于logminer的捕获实现(dbz - 137).这将是Debezium 0.10的主要特性。开云体育官方注册网址

此外,我们还会花一些时间在博客和演示方面;也就是说,我们正在考虑编写和演示新的监控和度量支持,HA架构,包括使用MySQL的故障转移,HAProxy和Debezium,以及丰富CDC事件的上下文信息,如当前用户或用例标识符。开云体育官方注册网址请继续关注!

我们也得到了一些超过0.10的收益伟大的计划Debe开云体育官方注册网址zium在明年推出。如果你也想提出你的想法,请在邮件列表或者在下面的评论中,我们期待你的回复。

说到这里,剩下要说的就是“我们大家节日快乐!”

数据流变化愉快,2019年见!

贡纳Morling

Gunnar是Decodable的软件工程师,也是一名不折不扣的开源爱好者。多年来,他一直是Debezium的项目负责人。开云体育官方注册网址Gunnar创建了kcctl、JfrUnit和MapStruct等开源项目,并且是Bean验证2.0 (JSR 380)的规范负责人。他在德国汉堡工作。


关于Debe开云体育官方注册网址zium

开云体育官方注册网址Debezium是一个开源的分布式平台,它将现有数据库转换为事件流,因此应用程序几乎可以立即看到并响应数据库中提交的每一个行级更改。开云体育电动老虎机开云体育官方注册网址Debezium是建立在卡夫卡并提供卡夫卡连接监控特定数据库管理系统的兼容连接器。开云体育电动老虎机开云体育官方注册网址Debezium在Kafka日志中记录了数据更改的历史,所以你的应用程序可以在任何时候停止和重新启动,并且可以很容易地使用它没有运行时错过的所有事件,确保所有事件都被正确和完整地处理。开云体育官方注册网址Debezium是开源Apache许可证,版本2.0

参与

我们希望您觉得Debezium有趣开云体育官方注册网址且有用,并愿意尝试一下。在Twitter上关注我们@开云体育官方注册网址debezium在Zulip上和我们聊天,或加入我们的邮件列表与社区对话。所有的代码都是开源的GitHub上,因此在本地构建代码并帮助我们改进现有连接器并添加更多连接器。如果您发现了问题或对我们如何改进Debezium有想法,请告诉我们开云体育官方注册网址记录问题

Baidu
map