今天,我很高兴地宣布Debezium的上市开云体育官方注册网址1.0.0.Final

最初的承诺自2015年11月以来,Debezium社区开云体育官方注册网址一直在不知疲倦地工作,以实现为各种数据库构建一个全面的开源低延迟变化数据捕获平台(CDC)的愿景。开云体育电动老虎机

在这4年里,Debezium的特性集得到了极大的发开云体育官方注册网址展:用于MySQL、Postgres、MongoDB和SQL Server的稳定的、高度可配置的CDC连接器,用于Apache Cassandra和Oracle的孵化连接器,用于转换和路由更改数据事件的工具,支持发件箱模式等设计模式等等。围绕这个项目形成了一个非常活跃和欢迎用户、贡献者和提交者的社区。开云体育官方注册网址Debezium被部署到各种行业的许多组织的生产中,有些组织的安装规模很大,使用数百个连接器从数千个数据库中传输数据更改。开云体育电动老虎机

1.0版本标志着这个项目的一个重要里程碑:基于我们从0。X版本,我们认为是时候在版本号中表达四个稳定连接器的成熟度了。

为什么D开云体育官方注册网址ebezium ?

将Debezium作为变更数据捕获工具使用的乐趣之一是潜在用例的多样性。开云体育官方注册网址当在会议上展示这个项目时,看到人们在意识到Debezium和C开云体育最新版DC所实现的所有可能性时是多么兴奋,真是太棒了。开云体育官方注册网址

简而言之,Debezium是让开云体育官方注册网址您以较低的延迟对数据的变化做出反应的一个重要促成因素。或者,正如一位与会者最近所说,它“类似于观察者模式,但适用于您的数据库”。开云体育电动老虎机

下面是我们在数据流管道中看到Debezium作为摄取组件使用的开云体育官方注册网址一些事情:

  • 将数据从生产数据库复制到其他数据库和数据仓库开云体育电动老虎机

  • 向Elasticsearch或Apache Solr等搜索服务提供数据

  • 更新或使缓存失效

当Debezium与A开云体育官方注册网址pache Kafka及其丰富的接收器连接器生态系统一起使用时,无需任何编码就可以完成这样的集成,只需在Kafka Connect中部署和配置连接器即可:

数据流管道与Debezium开云体育官方注册网址

但是CDC还有许多其他的用例,这些用例不仅仅是将数据从A移动到b。当将流处理添加到画面中时,例如通过Kafka Streams或Apache Flink, CDC使您能够运行时间窗口流查询,随着运营数据的变化而不断更新(“过去一小时内每种类别的总订单收入是多少”)。你可以用疾控中心生成审计日志您的数据,告诉谁在什么时间更改了哪些数据项。或者根据CQRS模式(命令查询责任隔离)更新数据的非规范化视图,以实现高效的数据检索。

最后,CDC也可以在微服务架构中发挥至关重要的作用;在服务之间交换数据和保持其他服务拥有的数据的本地视图可以获得更高的独立性,而不必依赖于同步API调用。在这种情况下,一个特别有趣的方法是发件箱模式,即良好的支持Deb开云体育官方注册网址ezium。如果您不在绿色场地上开始(谁会这样做?),CDC可以用于实现扼杀者模式从整体设计到微服务。

您可以在中了解有关Debezium和Apache Kafka变更数据捕获用例的更多信息开云体育官方注册网址这个演讲来自旧金山QCon。

但您不必只相信我们的话:您可以在我们的汇编中找到大量的博客文章、会议演讲和在生产中使用Debezium的人们的示例开云体育官方注册网址资源.如果您想了解还有谁已经在使用Debezium,请查看我们的快速增长开云体育官方注册网址参考用户名单(或寄给我们把请求如果您的组织已经在生产环境中运行Debezium,则可以添加您的名字)。开云体育官方注册网址

开云体育官方注册网址Debezium 1.0

现在,让我们稍微讨论一下1.0发行版的内容。

这个版本延续了我们开始的努力0.10确保发出的事件结构和连接器的配置选项是正确和一致的。虽然我们一直非常小心地确保平稳的升级体验,但在1.0发布之后,您可以期待在这方面更加稳定。

我们已经扩大了数据库的测试覆盖范围(Postgres 12, SQL S开云体育电动老虎机erver 2019, MongoDB 4.2),将我们的容器映像升级到OpenJDK 11,现在针对最新版本的Apache Kafka (2.4.0;也继续支持早期版本)。最后但并非最不重要的是,我们还修复了大量的bug。总的来说,96年问题在Debezium 1.0及其预览版开云体育官方注册网址(Beta1Beta2Beta3CR1).

如果您现在使用的是0.10,那么升级主要是一个临时替换。如果来自较早的版本,请务必阅读迁移的笔记了解已弃用的选项、升级过程等。

最重要的部分:Debezium社区开云体育官方注册网址

开云体育官方注册网址Debezium的存在离不开社区的贡献者和用户。我无法表达我是多么感激有机会成为这个神奇社区的一员,与来自世界各地的人们互动和工作,为我们的共同目标构建领先的变化数据捕获开源解决方案。

到目前为止,大约有150人对不同的Debezium代码库做出了贡献(如果我遗漏了谁,请告诉我):开云体育官方注册网址

Aaron Rosenberg, Addison Higham, Adrian Kreuziger, Akshath Patkar, Alexander Kovryga, Amit Sela, Andreas Bergmeier, Andras Istvan Nagy, Andrew Garrett, Andrew Tongen, Andrey Pustovetov, Anton Martynov, Arkoprabho Chakraborti, artiship, Ashhar Hasan, Attila Szucs, Barry LaFond, Bartosz Miedlar, Ben Williams, Li Bin, Zhou Bingqin, Braden Staudacher, Brandon Brown, Brandon Maguire, Cheng Pan, Ching Tsai, Chris Cranford, Chris Riccomini, Christian Posta, Chuck Ha, Cliff Wheadon, Collin Van Dyck,西里尔·斯切特本、大卫·陈、大卫·费因布卢姆、大卫·莱博维奇、大卫·绍博、迪帕克·巴尔、丹尼斯·米哈伊洛夫、丹尼斯·坎帕格纳、丹尼斯·佩尔松、邓肯·桑兹、艾可·许、埃罗·科普利梅茨、埃鲁尔·伊斯拉姆、埃里克·s·克雷塞伊尔、埃文·切斯拉克-波斯特瓦、菲利克斯·埃克哈特、加根·阿格拉瓦尔、格兰特·库克西、纪尧姆·罗索罗、贡纳·莫林、古尔纳兹·兰哈瓦、格热戈兹·科雅科夫斯基、汉斯-彼得·格拉希尔、亨利克·康塞克、霍利亚·基奥瑞恩、伊恩·阿克塞尔罗德、伊利亚·博格丹诺夫、伊万·科夫巴斯、伊万·洛伦兹、伊万·卢泽宁、伊万·圣荷西、伊万·武齐纳、Jakub Cechacek, Jaromir Hamala, Javier Holguera, Jeremy Finzel, Jiri Pechanec, Johan Venant, John Martin, Jon Casstevens, Jordan Bragg, Jork Zijlstra, Josh Arenberg, Josh Stanfield, Joy Gao, Jure Kajzer, Keith Barber, Kevin Pullin, Kevin Chao, Krizhan Mariampillai, Leo Mei, Lev Zemlyanov, Listman Gamboa,刘汉林,Luis Garcés-Erice, Maciej bryzyski, Mathieu Rozieres, Matthias Wessendorf, Mike Graham, Mincong Huang, Moira Tagle,Muhammad Sufyian, Navdeep Agarwal, Nikhil Benesch, Olavi Mustanoja, Oliver Weiler, Olivier Lemasle, Omar Al-Safi, Ori Popowski, Orr Ganani, Peng Lyu, Peter Goransson, Peter Larsson, Philip Sanetra, Pradeep Mamillapalli, Prannoy Mittal, Preethi Sadagopan, pushpavanthar, Raf Liwoch, Ram Satish, Ramesh Reddy, Randall Hauch, Renato Mefi, Roman Kuchar, Sagar Rao, René Kerner, Rich O 'Connell, Robert Coup, Sairam Polavarapu, Sanjay Kr Singh, Sanne Grinovero, Satyajit Vegesna, Saulius Valatka,斯科菲尔德·许,谢拉福欣总理,希瓦姆·夏尔马,舒布哈姆·拉瓦特,斯坦利·谢科,斯塔西斯·苏里斯,斯蒂芬·波伊斯,史蒂文·西亚赫廷,赛伊德·穆罕默德·苏菲安,Tautvydas Januskevicius,泰勒·罗利森,Theofanis Despoudis,托马斯·德布罗克,汤姆·本特利,Tomaz Lemos Fernandes,托尼·里兹科,王玉超,吴伟,胡文泽,威廉·珀塞尔,威利·张,Wout Scheepers,杨洋,王政

你们是了不起的,我衷心地感谢你们每一个人!我相信我们的社区在未来会继续增长——如果我们在2020年达到200名贡献者的目标,我会很高兴。

同样重要的是我们的用户;在聊天、邮件列表或会议和聚会中与您互动有助于推动项目的方向:了解您的特定需求和用例(或您遇到的错误)对于决定下一步将重点开云体育最新版放在哪里至关重要。我也非常感谢你!

你们中的一些人甚至在会议演讲和博客文章中分享了他们使用Debezium的经验。开云体育官方注册网址没有什么比听到别人的战争故事和能够从他们的经验中学习更好的了,所以你谈论关于Debezium和CDC的见解是非常有帮助的,非常感谢!开云体育官方注册网址

接下来是什么?

让我们来看看Debezium的下一个功能。开云体育官方注册网址

在经历了一段拖延已久的假期之后,我们计划在一月份开始Debezium 1.1的工作。开云体育官方注册网址您可以期待的一些潜在功能有:

  • 支持CloudEvents规范作为可移植的事件格式

  • 用于实现发件箱模式的Quarkus扩展

  • 一个独立的Debezium服开云体育官方注册网址务器,允许您将数据更改事件流发送到消息基础设施(如Amazon Kinesis)

  • 在单独的主题上公开事务边界的方法,允许聚合来自一个源事务的所有事件并一次性处理它们

  • 孵化社区主导的Oracle和Apache Cassandra连接器的进一步进展

当然,这个路线图很大程度上受到社区(即您)的影响。因此,如果您想在这里看到任何特定的项目,请告诉我们。

我们也有一些令人兴奋的博客文章,例如如何将Debezium与全新的Kafka Connect结合起来开云体育官方注册网址Apache Camel连接器或者如何使用Kafka流中最近增加的对非键连接的支持(kip - 213)与Debez开云体育官方注册网址ium变更事件。

还有一件事让我超级兴奋,那就是Debezium将成为开云体育官方注册网址红帽集成产品。当前版本的一部分是技术预览版用于MySQL, Postgres, SQL Server和MongoDB的变更数据捕获连接器。对于那些希望获得Red Hat为其CDC连接器提供商业支持的人来说,这是一个好消息。

现在,让我们庆祝Debezium 1.0的发布,并期待2020年的到来。开云体育官方注册网址

向上!

贡纳Morling

Gunnar是Decodable的软件工程师,也是一名不折不扣的开源爱好者。多年来,他一直是Debezium的项目负责人。开云体育官方注册网址Gunnar创建了kcctl、JfrUnit和MapStruct等开源项目,并且是Bean验证2.0 (JSR 380)的规范负责人。他在德国汉堡工作。


关于Debe开云体育官方注册网址zium

开云体育官方注册网址Debezium是一个开源的分布式平台,它将现有数据库转换为事件流,因此应用程序几乎可以立即看到并响应数据库中提交的每一个行级更改。开云体育电动老虎机开云体育官方注册网址Debezium是建立在卡夫卡并提供卡夫卡连接监控特定数据库管理系统的兼容连接器。开云体育电动老虎机开云体育官方注册网址Debezium在Kafka日志中记录了数据更改的历史,所以你的应用程序可以在任何时候停止和重新启动,并且可以很容易地使用它没有运行时错过的所有事件,确保所有事件都被正确和完整地处理。开云体育官方注册网址Debezium是开源Apache许可证,版本2.0

参与

我们希望您觉得Debezium有趣开云体育官方注册网址且有用,并愿意尝试一下。在Twitter上关注我们@开云体育官方注册网址debezium在Zulip上和我们聊天,或加入我们的邮件列表与社区对话。所有的代码都是开源的GitHub上,因此在本地构建代码并帮助我们改进现有连接器并添加更多连接器。如果您发现了问题或对我们如何改进Debezium有想法,请告诉我们开云体育官方注册网址记录问题

Baidu
map