今年只剩下几天了,是时候发布另一个Debezium了;开云体育官方注册网址所以我很高兴地宣布Debezium开云体育官方注册网址0.9.0.Beta2!
此版本支持MySQL 8和Oracle 11g;它包括用于监视SQL Server和Oracle连接器的第一个度量,对MongoDB事件扁平化SMT的几个改进以及广泛的错误修复。总的来说,不少于42个问题是解决;很明显,必须有更深层的意义在那里;)
向Debezium社区的以下成员表示感谢,他们为这次发布做出了贡献:开云体育官方注册网址埃罗Koplimets,Grzegorz Kołakowski,翰林刘,老美,雷纳托Mefi,Tautvydas Januskevicius,Wout Scheepers而且郑王!
下面,让我们仔细看看0.9 Beta2发行版带来的一些变化。
SQL Server和Oracle连接器的监视和度量
下面以MySQL连接器为例,用于SQL Server而且甲骨文现在通过JMX (dbz - 978).这包括自上一次CDC事件以来的时间、上一次事件的偏移量、事件的总数、在做快照时剩余的和已经扫描的表等等。请参阅监控文档有关如何启用JMX的详细信息。下图显示了在OpenJDK中显示值的示例任务控制工具:
我们计划在未来的版本中扩展公开的指标集,并使它们可用于Postgres和MongoDB。请在JIRA问题上发表评论,让我们知道您希望看到的指标dbz - 1040.
作为奖励,我们还创建了一个Grafana仪表板来可视化所有相关指标:
我们很快会在博客上更详细地介绍监控和仪表板;但如果你感兴趣,你可以看一下这个演示在我们的示例库中。
混杂。特性
“snapshot.delay.ms”选项已经从开云体育官方注册网址Debezium MySQL连接器现在也可用于所有其他Debezium连接器(开云体育官方注册网址dbz - 966).这在Kafka Connect集群中部署多个连接器时非常方便,这可能会导致集群中的连接器重新平衡,中断并重新启动已经部署的连接器实例的运行快照。可以通过指定一个延迟来避免这种情况,该延迟允许等待快照直到重新平衡阶段完成。
的MongoDB CDC事件平坦化转换得到了一些改进:
错误修复
和往常一样,我们也修复了大量Debezium用户报告的bug。开云体育官方注册网址这些固定问题包括:
在GTID模式下从MySQL流更改相关的几个错误(dbz - 923,dbz - 1005,dbz - 1008)
处理SQL Server连接器中具有保留名称的表(dbz - 1031)
MySQL连接器重启后的潜在事件丢失(dbz - 1033)
TOASTed列的不变值导致Postgres连接器失败(dbz - 842)
请参阅更改日志有关已解决问题的完整列表。
下一个步骤
我们计划在1月初发布Debezium 0.9的候选版本。开云体育官方注册网址如果没有出现严重问题,Debezium 0.9.0。开云体育官方注册网址最终版应该会在一月底出来。对于CR,我们主要安排了一些进一步的错误修复,改进SQL Server连接器和添加进一步的指标。
同时,我们将再次将注意力集中在Oracle连接器上,最后回到期待已久的基于logminer的捕获实现(dbz - 137).这将是Debezium 0.10的主要特性。开云体育官方注册网址
此外,我们还会花一些时间在博客和演示方面;也就是说,我们正在考虑编写和演示新的监控和度量支持,HA架构,包括使用MySQL的故障转移,HAProxy和Debezium,以及丰富CDC事件的上下文信息,如当前用户或用例标识符。开云体育官方注册网址请继续关注!
说到这里,剩下要说的就是“我们大家节日快乐!”
数据流变化愉快,2019年见!
关于Debe开云体育官方注册网址zium
开云体育官方注册网址Debezium是一个开源的分布式平台,它将现有数据库转换为事件流,因此应用程序几乎可以立即看到并响应数据库中提交的每一个行级更改。开云体育电动老虎机开云体育官方注册网址Debezium是建立在卡夫卡并提供卡夫卡连接监控特定数据库管理系统的兼容连接器。开云体育电动老虎机开云体育官方注册网址Debezium在Kafka日志中记录了数据更改的历史,所以你的应用程序可以在任何时候停止和重新启动,并且可以很容易地使用它没有运行时错过的所有事件,确保所有事件都被正确和完整地处理。开云体育官方注册网址Debezium是开源下Apache许可证,版本2.0.
参与
我们希望您觉得Debezium有趣开云体育官方注册网址且有用,并愿意尝试一下。在Twitter上关注我们@开云体育官方注册网址debezium,在Zulip上和我们聊天,或加入我们的邮件列表与社区对话。所有的代码都是开源的GitHub上,因此在本地构建代码并帮助我们改进现有连接器并添加更多连接器。如果您发现了问题或对我们如何改进Debezium有想法,请告诉我们开云体育官方注册网址记录问题.