我很高兴地宣布Debezium的发布开云体育官方注册网址1.9.0.Beta1

这个版本包含了Debezium Server的许多新特性,包括Knative event开云体育官方注册网址支持和Redis接收器的偏移存储管理,SQL Server连接器的多分区扩展,以及各种错误修复和改进。总的来说,56个问题已修复此版本。

让我们来仔细看看其中的几个。

开云体育官方注册网址Debezium服务器Knative事件

开云体育官方注册网址自从在1.2版本中引入Debezium投资组合以来,Debezium Server已经发展了很多。在这个版本中,我们添加了一个新的接收器实现来支持Knative事件

Knative Eventing“提供了将事件从生产者路由到消费者的工具和基础设施”,与Apache Kafka允许通过消息主题交换事件的方式非常相似。使用Deb开云体育官方注册网址ezium Server,您现在可以利用新的开云体育官方注册网址debezium-server-httpsink将Debezium更改数开云体育官方注册网址据事件交付给Knative Broker, Knative Broker是Kubernetes资源,它定义了用于收集和分发的网格CloudEvents给消费者。换句话说,Debezium Se开云体育官方注册网址rver可以充当“原生”Knative事件源。

为了开始使用Debezium和Knative Eventi开云体育官方注册网址ng,您只需要使用所需的源连接器配置Debezium服务器,然后使用以下配置接收器端:

开云体育官方注册网址debezium.sink。类型= http d开云体育官方注册网址ebezium.format.value = cloudevents

接收器将尝试基于K_SINK环境变量。如果这个变量没有定义值,你可以直接显式地提供端点URL:

开云体育官方注册网址debezium.sink.http.url = https:// <主机名> / <端点>

我们对这个新的接收器连接器感到非常兴奋,我们期待您的所有反馈。非常感谢克里斯Baumbauer为这杰出的贡献!

Debezium服务器的reddismanaged偏开云体育官方注册网址移量

几个来自复述,最近加强了关于整合Debezium和开云体育官方注册网址复述,流.在1.9.0中完成性能改进后。Alpha1(通过批处理),这项工作的另一个结果是能够存储连接器偏移量在复述。在下一个1.9早期访问版本中,您可以期待一个由Redis支持的数据库历史实现,并且团队也正在为Debezium开云体育电动老虎机 Server实现重试支持。开云体育官方注册网址非常感谢Yossi Shirizli奥伦伊莱亚斯以及所有其他Redis人不仅为Redis Streams sink做出了贡献,而且还为Debezium和Debezium服务器做出了贡献!开云体育官方注册网址

SQL Server连接器的多分区伸缩

一些数据库开云体育电动老虎机平台,如SQL Server和Oracle,支持在单个物理数据库服务器实例中创建和管理多个逻辑数据库。传统上,来自多个逻辑数据库的流更改需要单独的连接器部署。开云体育电动老虎机这样的部署策略本身并没有什么问题,但是如果您有很多逻辑数据库,它很快就会显示出它的缺点;开云体育电动老虎机例如,在每个租户都有一个逻辑数据库的多租户场景中,每个数据库设置和操作一个连接器的开销可能成为瓶颈。开云体育电动老虎机除此之外,通过Kafka Connect的任务概念,处理来自多个逻辑数据库的更改事件非常适合并行化。开云体育电动老虎机

在过去的几年中1。在Debezium的公共连接器框架发布之后,大量的工作已经投入到关键的基本变化中,为新的水平扩展策略奠定了基础。开云体育官方注册网址

这种新策略的最初目标之一是,当在单个SQL Server实例中流式处理来自多个逻辑数据库的更改时,无需部署多个连接器。开云体育电动老虎机此外,公开度量标准的关键是使监视工具能够从以连接器为中心的角度报告连接器的状态和健康状况,也能从正在处理的每个逻辑数据库报告连接器的状态和健康状况。开云体育电动老虎机在这个版本中,我们已经实现了这些目标。

但这仅仅是个开始!

这个基础为我们向新的横向扩展战略迈进奠定了基础。开云体育官方注册网址Debezium使用了基于单任务的架构,这为真正利用多节点Kafka Connect集群的强大功能和跨多个任务分配工作块提供了可能性。此外,这可以扩展到其他连接器,如Oracle。

这项工作一直由周围的团队领导谢尔盖·莫洛佐夫他们已经在多分区模式下部署了从内部分支构建的SQL Server连接器,他们在内部维护该连接器,直到整个工作被上传。我们非常非常感谢Sergei, Jacob Gminder, Mike Kamornikov,以及SugarCRM的所有人,他们不知倦地工作,使Debezium社区成为可能,我们非常期待继续并进一步扩大这种密切合作。开云体育官方注册网址

其他修复和更改

1.9.0版本的进一步修复和改进。Beta1版本包括:

详情请参阅发布说明在此版本中了解更多关于这些和进一步修复的信息。

像往常一样,非常感谢为这个版本做出贡献的每个人:

前景

随着Beta1发布的完成,我们正在接近1.9发布周期的最后阶段。根据即将发布的问题报告,您可以期待在未来几周内发布的新版本可能是CR1。

当我们转向并展望1.9之后,您可以期待Debezium 2.0的工作将于2022年4月初开始。开云体育官方注册网址目前的路线图是投入2个完整的发布周期,这意味着你可以期待Debezium 2.0在2022年9月底的某个时候。开云体育官方注册网址与此同时,您可以期待在整个过程中定期更新Debezium 1.9。开云体育官方注册网址

如果您对Debezium 2.0感兴趣,我们在开云体育官方注册网址dbz - 3899到目前为止。这不是一个详尽的列表,这个列表也没有优先级和范围,以满足您对整个2.0的期望;然而,这是我们所确定的事情,社区或团队都认为是这个新的主要版本的可操作任务。如果有你想看的东西,请花点时间在上面的Jira票上提出讨论或加入讨论这个话题在我们的邮寄名单上。

克里斯克兰福德

克里斯是红帽公司的软件工程师。他以前是Hibernate ORM团队的成员,现在在Debezium工作。开云体育官方注册网址他住在北卡罗来纳州,距离红帽塔只有几个小时的路程。


关于Debe开云体育官方注册网址zium

开云体育官方注册网址Debezium是一个开源的分布式平台,它将现有数据库转换为事件流,因此应用程序几乎可以立即看到并响应数据库中提交的每一个行级更改。开云体育电动老虎机开云体育官方注册网址Debezium是建立在卡夫卡并提供卡夫卡连接监控特定数据库管理系统的兼容连接器。开云体育电动老虎机开云体育官方注册网址Debezium在Kafka日志中记录了数据更改的历史,所以你的应用程序可以在任何时候停止和重新启动,并且可以很容易地使用它没有运行时错过的所有事件,确保所有事件都被正确和完整地处理。开云体育官方注册网址Debezium是开源Apache许可证,版本2.0

参与

我们希望您觉得Debezium有趣开云体育官方注册网址且有用,并愿意尝试一下。在Twitter上关注我们@开云体育官方注册网址debezium在Zulip上和我们聊天,或加入我们的邮件列表与社区对话。所有的代码都是开源的GitHub上,因此在本地构建代码并帮助我们改进现有连接器并添加更多连接器。如果您发现了问题或对我们如何改进Debezium有想法,请告诉我们开云体育官方注册网址记录问题

Baidu
map