我很高兴和大家分享Debezium的消息开云体育官方注册网址1.2.0.Beta2已经发布了!

这个版本的核心特性是开云体育官方注册网址Debezium服务器是Debezium专用的独立运行时,向Amazon Kinesis等消息传递开云体育官方注册网址基础设施开放了其开源变更数据捕获功能。

总的来说,社区已经固定25个问题自Beta1发布以来,其中一些我们将在这篇文章的剩余部分进行更深入的探讨。

开云体育官方注册网址Debezium服务器

添加开云体育官方注册网址Debezium服务器运行时是项目的一个重要里程碑。它是一个用于执行Debezium连接器的现成的独立应用程序。开云体育官方注册网址使用Deb开云体育官方注册网址ezium服务器,用户现在可以选择三种不同的操作Debezium的方式,以满足他们的个人需求:

  • 作为插件卡夫卡连接,将数据更改事件吸收到Apache Kafka集群中

  • 通过开云体育官方注册网址Debezium引擎,作为库嵌入到定制的基于jvm的应用程序中

  • 通过De开云体育官方注册网址bezium服务器,将数据更改事件发送到越来越多的消息平台,如Kinesis

您应该使用哪一种执行模式取决于您特定的先决条件、需求和CDC用例。运行Apache Kafka并对利用丰富连接器生态系统建立无代码数据集成管道感兴趣的组织,应该选择Kafka Connect方法。应用程序内缓存失效是受益于Debezium嵌入式引擎的应用程序。开云体育官方注册网址开云体育官方注册网址Debezium服务器最终是为那些想要利用Debezium的CDC功能的用户设计的,使用消息传递平台而不是Apache Kafka。虽然您以前可以通过嵌入式引擎和一些定制的Java编程来实现这一点,但Debezium Server将极大地简化这种情况。开云体育官方注册网址

受大众欢迎QuarkusDebeziu开云体育官方注册网址m Server是一个现成的可配置Java应用程序,它运行Debezium连接器,并通过选定的接收器适配器将产生的更改事件传播给消费者。最初支持Amazon Kinesis, Debezium服务器架构是可扩展的,其他开云体育官方注册网址适配器—例如。谷歌云Pub/Sub或微软Azure事件中心-将很快跟进。通过Debezium S开云体育官方注册网址erver扩展API,您还可以为首选的基础设施实现自定义接收器适配器,以便将更改事件传播给消费者。

最终,Debezium服开云体育官方注册网址务器也是实现我们cdc即服务愿景的一种手段,它与Kubernetes和Knative等云原生基础设施顺利集成。这次发布标志着这一努力的第一步,我们对与Debezium社区一起实现这一目标的前景感到无比兴奋。开云体育官方注册网址

请继续关注更多接收器适配器、容器映像和支持Knative事件,在Kubernetes上运行Debezium服务器开云体育官方注册网址的操作员,以及更多!

其他功能和修复

除了Debezi开云体育官方注册网址um Server之外,这个版本还进行了其他一些改进和修复。Debezium对不同的单个消息转换(smt)进行了许多改进:开云体育官方注册网址

  • 最近添加的smt用于基于内容的更改事件过滤而且路由现在可以应用于主题的子集(dbz - 2024

  • 记录头和主题名称公开给为这些smt配置的脚本表达式,因此可以通过过滤和路由逻辑(dbz - 2074

  • 逻辑主题路由SMT可以选择按原样传递消息键,而不是用源主题标识符(dbz - 2034);当不同的重路由主题之间键的唯一性已经得到保证时,这是非常有用的,例如,当将更改事件从分区Postgres表的分区表路由到单个主题时

开云体育官方注册网址Debezium的Testcontainers集成现在Kafka Connect允许使用自定义容器映像(dbz - 2070),如果您想在集成测试中利用自定义连接器、转换器或smt,那么它就会派上用场。对于SQL Server连接器,现在可以选择性地跳过获取LSN时间戳的查询(dbz - 1988).这有助于显著提高连接器的吞吐量。

几个与MySQL DDL解析器相关的修复,例如,由于MySQL 8.0中额外的DDL功能。x (dbz - 2080,“无法解析带有指定主键的MySQL ALTER语句”,dbz - 2067;"当DDL包含algorithm=instant时错误和连接器停止")和当与MariaDB (dbz - 2062, "如果压缩关键字包含反勾号(' '),DDL语句抛出错误")。

与往常一样,您可以在。中找到所有已解决问题和升级程序的完整列表发布说明

贡纳Morling

Gunnar是Decodable的软件工程师,也是一名不折不扣的开源爱好者。多年来,他一直是Debezium的项目负责人。开云体育官方注册网址Gunnar创建了kcctl、JfrUnit和MapStruct等开源项目,并且是Bean验证2.0 (JSR 380)的规范负责人。他在德国汉堡工作。


关于Debe开云体育官方注册网址zium

开云体育官方注册网址Debezium是一个开源的分布式平台,它将现有数据库转换为事件流,因此应用程序几乎可以立即看到并响应数据库中提交的每一个行级更改。开云体育电动老虎机开云体育官方注册网址Debezium是建立在卡夫卡并提供卡夫卡连接监控特定数据库管理系统的兼容连接器。开云体育电动老虎机开云体育官方注册网址Debezium在Kafka日志中记录了数据更改的历史,所以你的应用程序可以在任何时候停止和重新启动,并且可以很容易地使用它没有运行时错过的所有事件,确保所有事件都被正确和完整地处理。开云体育官方注册网址Debezium是开源Apache许可证,版本2.0

参与

我们希望您觉得Debezium有趣开云体育官方注册网址且有用,并愿意尝试一下。在Twitter上关注我们@开云体育官方注册网址debezium在Zulip上和我们聊天,或加入我们的邮件列表与社区对话。所有的代码都是开源的GitHub上,因此在本地构建代码并帮助我们改进现有连接器并添加更多连接器。如果您发现了问题或对我们如何改进Debezium有想法,请告诉我们开云体育官方注册网址记录问题

Baidu
map