在经历了最炎热的夏天之后,温度正在慢慢冷却,Debezium社区很高兴地宣布Debezium的发布开云体育官方注册网址0.10.0.Beta4.在这个版本中,我们很高兴分享一些我们不经常分享的消息:与Apache Cassandra,另一个数据库被添加开云体育电动老虎机到Debezium支持的数据库列表中!开云体育官方注册网址

此外,我们完成了将现有的Postgres连接器转换为为SQL Server和Oracle连接器建立的Debezium框架结构的工作。开云体育官方注册网址这意味着这些连接器之间有更多的共享代码,从而减少了开发团队的维护工作;但是这样做也有一个直接可见的优势:Postgres连接器现在公开了您已经从其他连接器中了解到的相同指标。

最后,新版本包含了一系列错误修复和其他有用的改进。下面让我们探讨一些细节。

孵化卡桑德拉连接器

如果您最近一直在关注这个博客,您将在Joy Gao关于新连接器的出色文章中了解Debezium家族的最新成员(开云体育官方注册网址第1部分第2部分).

如果您还没有阅读这些内容,我们强烈建议您阅读这些内容,以便了解在为Cassandra这样的分布式数据存储实现CDC连接器时遇到的更多挑战,以及为了提出第一个“最小可行产品”而做出的设计决策。乔伊也做了一个QCon上的演讲很棒去年,卡桑德拉谈到了疾病控制中心的话题。

最初是在长期使用Debezi开云体育官方注册网址umWePay,WePay团队决定开源他们的工作,把它放在Debezium的保护伞下,并在那里继续发展。开云体育官方注册网址这对Debezium社区来说真是个好消息!开云体育官方注册网址我们对这一贡献感到非常高兴,并期待着在公开场合共同开发这种新的连接器。

在这一点上,Cassandra连接器处于“孵化”状态,即它的设计和实现仍然处于变化中,它创建的事件结构可能会在未来的版本中改变等等。注意,与其他Debezium连接器不同,这个连接器目前不开云体育官方注册网址是基于Kafka Connect的。相反,它是作为运行在Cassandra节点上的独立进程实现的。参考上面链接的博客文章,了解这个设计背后的原因和未来可能的发展。不用说,在这一领域的任何想法和贡献都将受到高度欢迎。

与连接器一起,我们还提供了一个初步的草案连接器的文档;这项工作仍在进行中,并将在未来几天进行修订。

更多新功能

Postgres连接器现在支持从SQL Server和Oracle中已知的度量(dbz - 777).在使用SQL Server连接器时,现在可以确保按确定的顺序对表进行快照,该顺序由给定的表白名单配置(dbz - 1254).

我们的smt(单个消息转换)也有两个改进:

  • SMT新记录状态提取控件中用于传播元数据字段的附加列块(dbz - 1395例如,将事务传播到接收表中是有用的)。

  • 类生成的默认结构发件箱路由SMT已进一步精简(dbz - 1385);消息值现在只包含配置的发件箱表有效负载列的内容。如果你想重新添加eventType值,您可以将其配置为“附加字段”,它可以作为消息头(推荐)进入消息中,也可以作为消息值进入消息中,这将是一个嵌套结构。

错误修复和其他改进

最后,这里是0.10 Beta4版本中各种错误修复的概述:

  • MySQL连接器处理GRANT DELETE <表>陈述正确(dbz - 1411

  • 方法可以避免多余的表扫描initial_schema_only快照策略与SQL Server (dbz - 1417

  • 在获取Postgres的xmin位置时,避免了多余的连接创建(dbz - 1381

  • 新的记录状态提取SMT正确处理心跳事件(dbz - 1430

请参考0.10.0.Beta4发布说明有关已解决问题和升级程序的完整列表。

非常感谢Debezium社区的所有贡献者,他们为这个版本做出了贡献:开云体育官方注册网址乐高雷纳托Mefi而且Guillaume Rosauro

贡纳Morling

Gunnar是Decodable的软件工程师,也是一名不折不扣的开源爱好者。多年来,他一直是Debezium的项目负责人。开云体育官方注册网址Gunnar创建了kcctl、JfrUnit和MapStruct等开源项目,并且是Bean验证2.0 (JSR 380)的规范负责人。他在德国汉堡工作。


关于Debe开云体育官方注册网址zium

开云体育官方注册网址Debezium是一个开源的分布式平台,它将现有数据库转换为事件流,因此应用程序几乎可以立即看到并响应数据库中提交的每一个行级更改。开云体育电动老虎机开云体育官方注册网址Debezium是建立在卡夫卡并提供卡夫卡连接监控特定数据库管理系统的兼容连接器。开云体育电动老虎机开云体育官方注册网址Debezium在Kafka日志中记录了数据更改的历史,所以你的应用程序可以在任何时候停止和重新启动,并且可以很容易地使用它没有运行时错过的所有事件,确保所有事件都被正确和完整地处理。开云体育官方注册网址Debezium是开源Apache许可证,版本2.0

参与

我们希望您觉得Debezium有趣开云体育官方注册网址且有用,并愿意尝试一下。在Twitter上关注我们@开云体育官方注册网址debezium在Zulip上和我们聊天,或加入我们的邮件列表与社区对话。所有的代码都是开源的GitHub上,因此在本地构建代码并帮助我们改进现有连接器并添加更多连接器。如果您发现了问题或对我们如何改进Debezium有想法,请告诉我们开云体育官方注册网址记录问题

Baidu
map