我很高兴分享Debezium的消息开云体育官方注册网址1.9.0.Final已经发布了!

除了常见的一组错误修复和改进之外,这个版本的主要特性是支持Apache Cassandra 4,支持SQL Server的Debezium连接器的多数据库,能够使用Debezium Server作为Knative事件源,以及对Debezium Se开云体育电动老虎机rver与Redis Streams集成的许多改进开云体育官方注册网址。

完全276年问题已经被社区在1.9版本中修复;非常感谢每一个帮助实现这一目标的人!

支持Apache Cassandra 4

正好赶上候选发布在De开云体育官方注册网址bezium 1.9中,对Cassandra 4的支持已经添加到开云体育官方注册网址Debezium Cassandra连接器.或者,更具体地说,a已添加连接器。也就是说,你现在应该下载开云体育官方注册网址debezium-connector-cassandra-3或者是开云体育官方注册网址debezium-connector-cassandra-4连接器存档,取决于您的数据库版本。开云体育电动老虎机虽然我们通常努力在单个连接器中提供多版本支持,但支持新版本所需的代码更改非常大,因此我们决定为两个连接器版本提供两个单独的代码库(将共性提取到共享模块中)。

Cassandra 3和4的两个连接器目前都处于孵化状态,您可以期待在近期的特性中对它们进行进一步改进。非常感谢Štefan Miklošovič而且艾哈迈德Eljami这也为Debezium在不久的将来以Java 11为基准铺平了道路。开云体育官方注册网址

SQL Server多数据库支持开云体育电动老虎机

SQL Server允许在一台物理主机上设置多个逻辑数据库,例如,这对于分离具有多租户能力的应用程序开云体育电动老虎机的不同租户的数据非常方便。从历史上看,这需要为每个逻辑数据库为SQL Server设置一个Debezium连接器实例,当处理数十甚至数百个数据开云体育官方注册网址库时,这可能会变得有点麻烦,多租户用例通常是这种情况。开云体育电动老虎机

去年,谢尔盖·莫洛佐夫和他在SugarCRM的团队重新设计了开云体育官方注册网址Debezium SQL Server连接器和Debeziu开云体育官方注册网址m连接器框架多分区意识到对于这样的地址情况:框架现在能够从多个流更改源分区,它们被分开连接器的任务(在Kafka Connect术语中),它反过来可以分布在Kafka Connect集群的工作节点之间。

在SQL Server连接器的情况下,一个逻辑数据库相当于一个这样的源分区,所以你现在可以从一开云体育电动老虎机个物理SQL Server主机上传输20个数据库,分布在运行在五个Kafka Connect工作节点上的四个源任务上。要使用新的多分区模式,请配置要通过new开云体育电动老虎机开云体育电动老虎机database.names连接器配置属性(而不是使用以前存在的开云体育电动老虎机database.dbname),并可选地设置tasks.max到大于1的值。请注意,连接器指标的模式和主题名称以及结构在单分区模式和多分区模式之间是不同的,以便分别考虑逻辑数据库的名称和源任务的id。开云体育电动老虎机

在1.9版本中,多分区模式是实验性的,计划在未来的版本中完全取代SQL Server连接器的传统单分区模式,也就是说,如果您只从单个逻辑数据库捕获更改,那么您将使用多分区模式。开云体育电动老虎机多分区模式也将在其他可能的连接器上推出,例如Oracle和IBM Db2的连接器。

非常感谢Sergei和团队围绕这个功能的出色合作!

进一步的改变

让我们来看看Debezium 1.9中更多的新特性。开云体育官方注册网址首先,Debe开云体育官方注册网址zium Server现在包含一个用于HTTP的接收器适配器,这意味着它可以用作Knative services的“本机”事件源,而不需要首先通过Apache Kafka之类的消息代理发送消息。

然后,Redis的友好人员站出来,对Debezium(服务器)如何与开云体育官方注册网址复述,流:除了几个性能改进,像MySQL这样的连接器的数据库历史现在可以存储在Redis中,偏移量现在也开云体育电动老虎机可以存储在那里。但他们并没有止步于此:例如,Debezium Server现在支持自定义配置提供程序开云体育官方注册网址,就像Kafka Connect中已经提供的那样。

展望未来,Redis团队计划对Debezium进行进一步的改进,比如在出现故障时更好地重新尝试逻辑。开云体育官方注册网址期待这些!

要了解更多关于Debezium 1.9中发布的所有特性、改进和错误修复的信息,请查看原始发布公告(开云体育官方注册网址α1Alpha2Beta1,CR1)以及1.9发布说明

非常感谢Debezium社区的所有人,他们为这个版本贡献了代码更改:开云体育官方注册网址

即将到来的

1.9之后是什么呢?您可能会想到1.10,但这不是我们要做的;相反,我们计划在今年晚些时候发布Debezium 2.0作为一个新的主开云体育官方注册网址要版本!

虽然我们并没有严格遵守语义版本控制(例如,像1.9这样的新小版本可能需要一些小程度的考虑),但我们使用Debezium版本的一个关键目标是尽可能限制现有用户的破坏性更改。开云体育官方注册网址这就是为什么那些多余的配置选项不仅被删除,而且被弃用的原因。这同样适用于更改事件格式的更改,这些更改是逐步推出的。随着时间的推移,这导致了许多遗留选项和其他方面,我们最终希望解决这些问题。开云体育官方注册网址Debezium 2.0将是我们摆脱这种遗留问题的版本。例如,我们正计划

  • 删除MySQL和MongoDB的连接器的遗留实现(被基于Debezium标准连接器框架的更强大和成熟的实现所取代,这些实现在默认情况下已经启用了很长一段时间)开云体育官方注册网址

  • Postgres不再支持wal2json(被pgoutput取代)

  • 使用Java 11作为基准(例如允许发出JDK Flight Recorder事件以进行更好的诊断)

  • 默认为多分区模式度量(改进的一致性)

  • 使默认主题名称更加一致,例如heartbeat主题

  • 更改少数列类型的默认类型映射

这方面的计划目前正在全面展开中,非常邀请您参加讨论邮件列表或者在dbz - 3899吉拉的问题。请注意,虽然我们希望借此机会清理一些随着时间的推移而积累起来的奇怪问题,但向后兼容性将始终是关键问题,我们将尽量减少对现有用户的影响。但是,正如您所期望的那样,与通常的小版本相比,升级可能需要更大的努力。

在时间轴方面,由于计划更改的规模和数量,我们将偏离通常的季度发布节奏,而是预留两个季度用于开发Debezium 2.0,也就是说,您可以期待9月底的发布。开云体育官方注册网址与此同时,1.9版本将根据传入的错误报告发布错误修复版本。

向上,向前!

贡纳Morling

Gunnar是Decodable的软件工程师,也是一名不折不扣的开源爱好者。多年来,他一直是Debezium的项目负责人。开云体育官方注册网址Gunnar创建了kcctl、JfrUnit和MapStruct等开源项目,并且是Bean验证2.0 (JSR 380)的规范负责人。他在德国汉堡工作。


关于Debe开云体育官方注册网址zium

开云体育官方注册网址Debezium是一个开源的分布式平台,它将现有数据库转换为事件流,因此应用程序几乎可以立即看到并响应数据库中提交的每一个行级更改。开云体育电动老虎机开云体育官方注册网址Debezium是建立在卡夫卡并提供卡夫卡连接监控特定数据库管理系统的兼容连接器。开云体育电动老虎机开云体育官方注册网址Debezium在Kafka日志中记录了数据更改的历史,所以你的应用程序可以在任何时候停止和重新启动,并且可以很容易地使用它没有运行时错过的所有事件,确保所有事件都被正确和完整地处理。开云体育官方注册网址Debezium是开源Apache许可证,版本2.0

参与

我们希望您觉得Debezium有趣开云体育官方注册网址且有用,并愿意尝试一下。在Twitter上关注我们@开云体育官方注册网址debezium在Zulip上和我们聊天,或加入我们的邮件列表与社区对话。所有的代码都是开源的GitHub上,因此在本地构建代码并帮助我们改进现有连接器并添加更多连接器。如果您发现了问题或对我们如何改进Debezium有想法,请告诉我们开云体育官方注册网址记录问题

Baidu
map