我很高兴地宣布Debezium的发布开云体育官方注册网址1.6.0.Beta1!
该版本引入了对SQL Server和Db2的增量快照支持、对SQL Server的性能改进、对Oracle的BLOB/CLOB支持等等。下面让我们花点时间来探索这些新功能。
增量快照—SQL Server / Db2
开云体育官方注册网址Debezium在1.6.0.Alpha1中首次引入增量快照。如本文所述博客,在运行Debezium时存在几个痛点:开云体育官方注册网址
在连接器重新启动时流开始之前,必须执行一致的快照
在连接器长时间运行后,无法触发完整快照甚至部分快照
在这个版本中,该特性已经扩展到SQL Server和Db2连接器。我们打算在未来的版本中继续将该特性扩展到其他连接器。
如果你想自己尝试这个功能,那么你需要这样做
提供一个信号表
通过使用SQL命令来触发临时增量快照
INSERT INTO myschema.开云体育官方注册网址debezium_signal VALUES('ad-hoc-1', 'execute-snapshot', '{"data-collections": ["schema。表1”、“schema1.table2”]}’)
SQL Server性能提升
SQL Server连接器选项,source.timestamp.mode
,控制如何解析触发事件的时间戳。默认的提交
设置的目的是根据变更记录提交到数据库中的时间解析时间戳。开云体育电动老虎机发现该方法使用单独的JDBC调用来解析事件的时间戳,这在性能和吞吐量方面都造成了损失。
此版本修复了提交
模式性能问题,移动到解决时间戳的地方。这大大提高了连接器的性能和吞吐量,同时保持现有的功能。
我们要感谢谢尔盖·莫洛佐夫为解决这个问题做出贡献。
Oracle大对象数据类型
在“大数据”时代,使用像这样的数据类型并不罕见团
而且CLOB
存储大对象数据。Debe开云体育官方注册网址zium Oracle连接器已经支持了广泛的数据类型,我们很高兴地报告,我们现在已经扩展了对基于XStream和LogMiner实现的BLOB和CLOB的支持。
当发出包含的事件时团
或CLOB
数据、连接器的内存占用以及触发事件的消息大小将直接受到大对象数据大小的影响。因此,连接器的JVM进程可能需要额外的内存以及调整一些Kafka配置,例如message.max.bytes
.
我们鼓励社区测试对这些新数据类型的支持,并报告所有反馈。
其他功能
本版本的进一步修复和改进包括以下内容:
Orac开云体育官方注册网址le现在支持Debezium连接器
ALTER TABLE
而且删除表
自动(dbz - 2916)用于Or开云体育官方注册网址acle的Debezium连接器使用ojdbc.jar 21.1.0.0版本(dbz - 3460)
当长时间开云体育官方注册网址运行的快照大于配置的oplog窗口时,MonogDB的Debezium连接器可能导致丢失更改事件(dbz - 3331);当流开始时,连接器现在验证oplog位置的存在
Cass开云体育官方注册网址andra的Debezium连接器没有正确响应模式更改(dbz - 3417)
总共,总共52个问题已在此版本中解决。
一如既往,非常感谢所有做出贡献的社区成员:Alfusainey杰,Bingqin周,曹曼达,约翰•马丁,吴约翰。,迈克,奥利弗Jacquemart,谢尔盖·莫洛佐夫,SiuFay,Stefan Miklosovic,托马斯沙土荒漠,Vadzim Ramanenka.
关于Debe开云体育官方注册网址zium
开云体育官方注册网址Debezium是一个开源的分布式平台,它将现有数据库转换为事件流,因此应用程序几乎可以立即看到并响应数据库中提交的每一个行级更改。开云体育电动老虎机开云体育官方注册网址Debezium是建立在卡夫卡并提供卡夫卡连接监控特定数据库管理系统的兼容连接器。开云体育电动老虎机开云体育官方注册网址Debezium在Kafka日志中记录了数据更改的历史,所以你的应用程序可以在任何时候停止和重新启动,并且可以很容易地使用它没有运行时错过的所有事件,确保所有事件都被正确和完整地处理。开云体育官方注册网址Debezium是开源下Apache许可证,版本2.0.
参与
我们希望您觉得Debezium有趣开云体育官方注册网址且有用,并愿意尝试一下。在Twitter上关注我们@开云体育官方注册网址debezium,在Zulip上和我们聊天,或加入我们的邮件列表与社区对话。所有的代码都是开源的GitHub上,因此在本地构建代码并帮助我们改进现有连接器并添加更多连接器。如果您发现了问题或对我们如何改进Debezium有想法,请告诉我们开云体育官方注册网址记录问题.