开云体育官方注册网址Debezium博客

2017年初的某个时候,我收到了Debezium创始人的会议邀请,开云体育官方注册网址兰德尔Hauch.他即将开始职业生涯的新篇章,正在寻找一个人来接替Debezium的项目领导。开云体育官方注册网址因此,我们打了一个电话,把事情谈清楚了,我马上就被变更数据捕获的概念、它的大量潜在用例和应用程序以及将其作为开源提供给社区的想法所打动。经过短暂的考虑后,我决定抓住这个机会,毫无疑问,这是我在工作中做过的最好的决定之一。

您可能已经注意到,我们已经开始了Debezium 2.0的工作。开云体育官方注册网址之一计划中的变更对于2.0版本来说是切换到Java 11作为基准.虽然一些Java构建提供者仍然支持Java 8,但其他Java 8发行版已经达到了它们的生命周期/支持的终点。正如New Relic的调查所示,用户无论如何都在转向Java 11Java生态系统报告的状态指示。但这不仅仅是支持的问题:Java 11带来了各种性能改进,有用的工具,如JDK Flight Recorder,它在Java 11中是开源的,等等。因此,我们觉得是时候开始考虑使用最新的JDK作为Debezium的基准了,而新的主要版本自然是进行转换的里程碑。开云体育官方注册网址

大家好,我是vojtJuránek,我最近加入了Debezium团队。开云体育官方注册网址

我大部分的IT职业生涯都是在Red Hat度过的。我有粒子物理学的背景,但在加入Red Hat之前,我就做了很多编程高能粒子碰撞的模拟和他们的数据分析.科学默认是开放的,我使用的所有软件也是开源的。我对开源的热爱由此开始。

欢迎来到最新版的Debezium社区通讯,我们在其中分享所有与CDC相关的开云体育官方注册网址事情,包括博客文章,小组讨论,以及与我们的用户社区相关的StackOverflow问题。

离我们上一版已经过去很长时间了。但是我们又回来了!如果你错过了我们的上一版,你可以看看在这里

大家好,我的名字是Anisha Mohanty,我最近加入了Red Hat和Debezium团队。开云体育官方注册网址

我在2020年4月毕业后开始了我在红帽的旅程。我在大学早期就接触到了开源,但我不知道组织是如何运作的,想要获得开源伦理和价值观的精髓。这是我在加入红帽公司时很想学习的东西。

我的工作从Teiid的数据虚拟化团队开始,然后在GRAPHQLCRUDproject是一个基于GraphQL的通用查询接口标准。这个项目开始得很好,现在状态很好。我们已经成功地添加了CRUD功能、分页和过滤规范。

来到Debezium开云体育官方注册网址,我第一次听说它是一些DV成员开始在这里贡献,那时候它对我来说是一个全新的东西。我开始更多地探索,没过多久我就和Gunnar和Jiri有了第一次互动。在这里有热情的欢迎和优秀的团队,我真的很兴奋能与Debezium社区合作。开云体育官方注册网址

创建新的主题/管道

当你在使用Kafka Connect分布式时,你可能已经意识到,一旦你开始使用Kafka Connect,就已经有一些内部的Kafka Connect相关主题为你创建:

$ kafka-topic .sh——bootstrap-server $HOSTNAME:9092——list connect_configs connect_offset connect_status

这是由Kafka Connect自动完成的,它有一个合理的、自定义的默认主题配置,可以满足这些内部主题的需求。

当你启动一个Debezium连接器开云体育官方注册网址时,被捕获事件的主题是由Kafka代理根据代理中的默认(可能是自定义的)配置创建的Auto.create.topics.enable = true在代理配置中启用:

Auto.create.topics.enable = true default.replication.factor = 1 num.partitions = 1压缩。Type = producer log.cleanup.policy = delete log.retention.ms = 604800000 ## 7天

但通常,当你在生产环境中使用Debezium和K开云体育官方注册网址afka时,你可能会选择禁用Kafka的主题自动创建功能Auto.create.topics.enable = false,或者希望连接器主题的配置与默认值不同。在这种情况下,您必须预先为Debezium捕获的数据源创建主题。开云体育官方注册网址
但也有好消息!从Kafka Connect 2.6.0版本开始,这可以自动完成kip - 158实现了Kafka Connect的自定义主题创建功能。

大家好,我的名字是René Kerner,我最近加入了Red Hat和Debezium团队。开云体育官方注册网址

我从2011年开始在trivago工作,2016年我们开始使用0.4/0.5版本的Debezium来将离岸数据中心的点击流捕获到Ka开云体育官方注册网址fka中,并将它们聚合到中央集群中。我们在一年内加强了Debezium的使用,并开云体育官方注册网址在2017年将其用于trivago的主要数据。

2014年,我对Composer (PHP的依赖管理)做了我的第一次OSS贡献,并在开发者大会上发表了我的第一次关于它的演讲。已经谈了很多年了)。然后在2017年,我对Debezium做了第一次贡献,致力于MySQL快照进程,并修复了M开云体育官方注册网址ySQL TIME数据类型问题。

2018年,我离开trivago,开始在Codecentric工作,担任软件架构和开发(主要是JVM)和Apache Kafka的顾问,在德国“财富500强”公司(保险、工业部门、媒体)做过许多培训和研讨会。开云体育亚洲那时我在做很多社交活动,在那里我了解到围绕卡夫卡的社区是多么棒。我总是很难过,因为我没有更多的时间专注于OSS项目。

欢迎来到最新版的Debezium社区通讯,我们在其中分享所有与CDC相关的开云体育官方注册网址事情,包括博客文章,小组讨论,以及与我们的用户社区相关的StackOverflow问题。

如果你错过了我们的上一版,你可以看看在这里

欢迎来到Debezium社区通开云体育官方注册网址讯,我们在这里分享所有与CDC相关的事情,包括博客文章,小组讨论,以及与我们的用户社区相关的StackOverflow问题。

过去的这个夏天对球队来说是一个超级激动人心的时刻。我们不仅在Debezium 0.10上努力工作,而且还公布了一些最近的变化开云体育官方注册网址开云体育官方注册网址www.coraltyphoon.com

欢迎来到Debezium社区通讯的第一版,我们在这里分享博客文章,小组讨开云体育官方注册网址论,以及与我们的用户社区相关的StackOverflow问题。

大家好,我是Chris Cranford,我最近加入了Debezium团队。开云体育官方注册网址

我在红帽的旅程开始于三年多以前;然而,我在这一行已经干了将近二十年了。在我的整个职业生涯中,我一直倡导和支持开源软件。我最初的许多软件工作都是基于开源软件,其中有几个至今仍在大量使用,例如Hibernate ORM

当我去年第一次了解Debezium项目时,我马上就对此感到非常开云体育官方注册网址兴奋。

我可以看到这个项目对很多人都非常有用,它的专业设置方式给我留下了深刻的印象:基于Apache Kafka的更改数据捕获的坚实架构,在失败情况下对健壮性和正确性的强烈关注,创建CDC连接器的多样化生态系统的总体想法。所有这些都基于开源的原则,结合了从第一天开始的大量文档,一个友好而受欢迎的网站和一个很棒的入门体验。

所以你可以想象,我对这个接任Debezium项目领导的机会非常热情。开云体育官方注册网址开云体育官方注册网址Debezium和CDC与我以前从事的一些以数据为中心的项目有密切的联系,也与我一直在CQRS周围追求的想法有联系,甚至包括采购和非规范化。作为核心成员Hibernate的团队在Red Hat,我实现了最初的Elasticsearch支持Hibernate搜索(通过JPA/Hibernate处理全文索引更新)。我也为Hibernate OGM-一个连接JPA和NoSQL世界的项目。OGM的计划之一是创建一个声明式的非规范化引擎,用于创建针对特定用例优化的读模型。看看它如何与Debezium提供的功能一起发挥作用将是非常有趣的。开云体育官方注册网址

2016年初,就在我开始Debezium项目之前,开云体育官方注册网址马丁Kleppmann做了几次关于把数据库翻个底朝天开云体育电动老虎机他是如何瓶装水项目证明了在使用Kafka进行流处理时,变更数据捕获可以发挥的重要性。然后是Kafka Connect宣布在这一点上,我似乎很明显,Kafka Connect是一个基础,在此基础上可以构建实用的、可重用的变更数据捕获。随着这些技术和技术变得越来越重要红色的帽子,我有机会开始一个新的开源项目和社区,围绕为各种数据库管理系统构建出色的CDC连接器。开云体育电动老虎机

在过去的几年里,我们创建了Kafka Connect连接器MySQL,然后MongoDB,最近PostgreSQL.每一个最初都是有限的,并有许多问题和问题,但随着时间的推移,越来越多的人尝试了连接器,提出问题,回答问题,提到开云体育官方注册网址Debezium在Twitter上他们在自己的环境中测试连接器,报告问题,修复错误,讨论限制和潜在的新功能,实现增强和新功能,改进文档,并撰写博客文章。简单地说,有相似需求和兴趣的人一起工作,形成了一个社区。附加连接器用于甲骨文而且SQL Server正在进行中,但可能需要一些帮助,以便更快地推进事情。

看到我们已经走了这么远,Debezium社区是如何继续发展和成长的,这真的很令人兴奋。开云体育官方注册网址现在也许是把权力移交给他人的最佳时机。事实上,在红帽度过了近10年的美好时光后,我正在做出更大的改变,从今天开始,我成为了红帽的一部分支流的在工程团队,我希望在更广泛的领域发挥更积极的作用卡夫卡社区和更直接的Kafka连接和Kafka流。我肯定我们计划继续参与Debezium社区,但不再领导这个项目。开云体育官方注册网址这个角色将由贡纳Morling他最近加入了Debezium社区,但在开源方面有丰富的经开云体育官方注册网址验Hibernate社区,以及Bean验证规范工作。Gunnar是一个很棒的人,也是一个优秀的开发者,他将成为Debezium社区的优秀领导者。开云体育官方注册网址

Baidu
map