我很荣幸地宣布Debezium 1.5系列的第一个版本,开云体育官方注册网址1.5.0.Alpha1

该版本对基于logminer的Debezium Oracle连接器捕获实现进行了许多改进,对MySQL连接器进行了大范围的改进,并修复了大量错误和其他小特性。开云体育官方注册网址

改进的基于logminer的捕获实现

因为我们已经宣布了Debezium Oracle连接器的基于logminer的实现开云体育官方注册网址开云体育官方注册网址Debezium 1.3我们已经看到来自我们活跃社区的人们对这个连接器的兴趣不断增长,他们测试它,提供反馈,记录错误报告和功能请求,提交带有修复程序的拉请求等等。基于所有这些输入,连接器正在迅速成熟,我们的目标是将基于logminer的实现在Debezium 1.5或最新的1.6中从“孵化”状态转移到“稳定”状态。开云体育官方注册网址Debezium 1.5的第一个Alpha版本包含了许多开云体育官方注册网址相关的改进:

  • java.sql.SQLException: ORA-01333: failed to establish Logminer Dictionary (dbz - 2939

  • 当挖掘会话启动失败时,捕获并报告LogMiner状态(dbz - 3055

  • 开云体育官方注册网址Debezium Oracle连接器将出现卡在大型SCN跳跃(dbz - 2982

  • 改进Logminer适配器的日志记录(dbz - 2999

非常感谢Martín Pérez、Milo van der Zee、Anton Kondratev和所有其他人在此工作期间进行的密集测试、反馈和贡献!该领域的下一步之一将是几项与性能相关的改进;详情请继续关注。

重做MySQL连接器

为了减少所有不同Debezium连接器的维护工作,我们很久以前就开始朝着一个通用连接器框架的方向努力。开云体育官方注册网址这个框架允许我们一次性实现许多特性(和错误修复),所有基于这个框架的连接器都能从中受益。到目前为止,除了Cassandra和MySQL连接器开云体育官方注册网址,几乎所有Debezium连接器都已移植到这个框架。

在这个版本中,MySQL连接器也提供了基于这个框架的实现。由于MySQL连接器是Debezium连接器中的第一个,并且它具有相当多的特定特性和特性,因此我们决定不简单地用一个新的实开云体育官方注册网址现替换现有的实现,而是将现有的和新的实现同时保留一段时间。

这使得新的实现更加成熟,也让用户可以选择使用哪个实现。虽然新的连接器实现是这个版本的默认实现,但是您可以通过设置internal.implementation选项遗产.我们目前还没有删除现有实现的计划,但是功能工作和错误修复的重点将转移到新的实现上。请尝试一下新的连接器实现,如果遇到任何问题请告诉我们。

虽然新实现在功能方面与以前的实现基本相同,但有一个例外:以前对更改连接器实例的筛选器配置的实验性支持不是新实现的一部分。我们计划在不久的将来为所有基于框架的连接器推出类似的特性。现在MySQL连接器也有了一个基于框架的实现,我们计划对所有(关系)连接器的快照提供一系列改进:例如前面提到的更改过滤器配置的功能、并行快照操作的方法等等。

其他功能

除了这些关键功能,还有一系列其他的改进,较小的新功能,以及bug修复,包括以下内容:

  • 正确处理Cassandra连接器中的用户类型列表(dbz - 2974

  • 多个DDL解析器修复MySQL和MariaDB (dbz - 3018dbz - 3020dbz - 3023dbz - 3039

  • 具有许多表的大型Postgres模式的快照性能更好(dbz - 2575

  • 发射能力截断事件通过Postgres连接器(dbz - 2382);请注意,当启用时,这将添加一个新的人事处类型t对于此连接器的更改事件,请确保您的使用者能够优雅地处理此类事件

  • 感谢……的工作Kewei商,现在有关于Debezium教程示例的说明开云体育官方注册网址使用Vitess的培养连接器dbz - 2678),它是在Debezium 1.4中添加的:开云体育官方注册网址

    Vitess教程示例概述

总而言之,32个问题修复了此版本。非常感谢所有做出贡献的社区成员:Bingqin周戴夫·克莱默Kewei商马丁·佩雷斯马丁Sillence尼克•默里,Naveen库马尔

在即将发布的1.5预览版中,我们计划进一步改进和稳定Oracle的基于logminer的连接器实现,解决MySQL连接器迁移的一些问题,并开始探索前面提到的快照改进。

我们也决定继续努力创造一个图形Debezium开云体育官方注册网址用户界面;该组件目前正在积极开发中,支持更多的连接器,(重新)启动和停止连接器的功能,检查日志,以及更多的工作。如果一切按计划进行,UI将正式成为下一个Debezium 1.5预览版的一部分!开云体育官方注册网址

贡纳Morling

Gunnar是Decodable的软件工程师,也是一名不折不扣的开源爱好者。多年来,他一直是Debezium的项目负责人。开云体育官方注册网址Gunnar创建了kcctl、JfrUnit和MapStruct等开源项目,并且是Bean验证2.0 (JSR 380)的规范负责人。他在德国汉堡工作。


关于Debe开云体育官方注册网址zium

开云体育官方注册网址Debezium是一个开源的分布式平台,它将现有数据库转换为事件流,因此应用程序几乎可以立即看到并响应数据库中提交的每一个行级更改。开云体育电动老虎机开云体育官方注册网址Debezium是建立在卡夫卡并提供卡夫卡连接监控特定数据库管理系统的兼容连接器。开云体育电动老虎机开云体育官方注册网址Debezium在Kafka日志中记录了数据更改的历史,所以你的应用程序可以在任何时候停止和重新启动,并且可以很容易地使用它没有运行时错过的所有事件,确保所有事件都被正确和完整地处理。开云体育官方注册网址Debezium是开源Apache许可证,版本2.0

参与

我们希望您觉得Debezium有趣开云体育官方注册网址且有用,并愿意尝试一下。在Twitter上关注我们@开云体育官方注册网址debezium在Zulip上和我们聊天,或加入我们的邮件列表与社区对话。所有的代码都是开源的GitHub上,因此在本地构建代码并帮助我们改进现有连接器并添加更多连接器。如果您发现了问题或对我们如何改进Debezium有想法,请告诉我们开云体育官方注册网址记录问题

Baidu
map