开云体育官方注册网址Debezium博客

Apache Kafka 2.8允许第一次看到zookeeper的未来,广泛使用的事件流媒体平台:发货预览kip - 500(“用自管理元数据仲裁替换ZooKeeper”),你现在可以运行Kafka集群,而不需要设置和操作Apache ZooKeeper。这不仅从操作的角度简化了Kafka的运行,新的元数据仲裁实现(命名为“KRaft”,Kafka Raft元数据模式)也应该提供更好的扩展特性,例如当涉及到大量的主题和分区时。

在经历了最炎热的夏天之后,温度正在慢慢冷却,Debezium社区很高兴地宣布Debezium的发布开云体育官方注册网址0.10.0.Beta4.在这个版本中,我们很高兴分享一些我们不经常分享的消息:与Apache Cassandra,另一个数据库被添加开云体育电动老虎机到Debezium支持的数据库列表中!开云体育官方注册网址

此外,我们完成了将现有的Postgres连接器转换为为SQL Server和Oracle连接器建立的Debezium框架结构的工作。开云体育官方注册网址这意味着这些连接器之间有更多的共享代码,从而减少了开发团队的维护工作;但是这样做也有一个直接可见的优势:Postgres连接器现在公开了您已经从其他连接器中了解到的相同指标。

最后,新版本包含了一系列错误修复和其他有用的改进。下面让我们探讨一些细节。

夏天是它的高峰,但Debezium社区并没有在它的努力,所以开云体育官方注册网址Debezium0.10.0.Beta3被释放。

这个版本不仅延续了Debezium的渐进式改进,而且还带来了新的闪亮的特性。开云体育官方注册网址

所有使用PostgreSQL 10或更高版本作为不同云提供商提供的服务的人,当你需要部署逻辑解码插件以启用流时,肯定会感到很复杂。这已经没有必要了。开云体育官方注册网址Debezium现在支持(dbz - 766pgoutput复制协议,自PostgreSQL 10起即开即用。

开云体育官方注册网址Debezium的容器映像结构得到了巨大的改进最近这使得扩展其行为变得极其简单。

这是一个小教程,展示如何添加实例哨兵,“一个开源错误跟踪软件,可以帮助开发人员实时监控和修复崩溃”。这里我们将使用它来收集和报告来自Kafka Connect及其连接器的任何异常。注意,这只适用于Debezium 0.9+。开云体育官方注册网址

我们需要一些东西来让哨兵工作,我们会添加所有的它们,然后有一个Dockerfile,这让它都正确粘:

  • 配置Log4j

  • SSL证书sentry.io,因为默认情况下它不在JVM可信链中

  • 哨兵而且sentry-log4j

我很荣幸地宣布Debezium的发布开云体育官方注册网址0.10.0.Beta2

这进一步稳定了0.10版本,并对不同的连接器进行了许多错误修复。23个问题修复了此版本;其中一些与MySQL连接器的DDL解析器有关,例如around重命名索引dbz - 1329),设立新的在触发器中(dbz - 1331)和函数定义核对关键字(dbz - 1332).

对于Postgres连接器,我们修复了一个潜在的不一致时,冲洗处理的LSNs到数据库(开云体育电动老虎机dbz - 1347).还有“include.unknown”。“数据类型”选项在快照期间正常工作(dbz - 1335),并且在快照期间连接器将不再被物化视图绊倒(dbz - 1345).

又一个星期,又一个Debezium发布了——开云体育官方注册网址我很高兴地宣布Debezium的发布0.10.0.Beta1

除了升级到Apache Kafka 2.2.1 (dbz - 1316),这主要修复了一些错误,包括回归到Alpha2版本中引入的MongoDB连接器(dbz - 1317).

一个非常受欢迎的可用性改进是,如果没有根据白名单/黑名单配置捕获至少一个表,连接器现在将记录一个警告(dbz - 1242).这有助于防止通过不正确的筛选器表达式意外地排除所有表,在这种情况下,连接器“按预期工作”,但不会将事件传播到消息代理。

请参阅发布说明有关此版本中修复的问题的完整列表。还要确保检查0.10.0的升级指南。从早期版本升级时的Alpha1和Alpha2。

非常感谢社区成员程锅而且Ching蔡感谢他们对这个版本的贡献!

早发布,常发布——在Alpha1发布不到一周的时间里,我们宣布发布Debezium开云体育官方注册网址0.10.0.Alpha2

这是一个增量版本,完成了Alpha1版本中开始的一些任务,并提供了一些错误修复和Docker映像的质量改进。

逻辑的变化快照字段已交付(dbz - 1295),详情见最后的通告.现在,所有连接器都提供信息,哪些记录是快照阶段的最后一个记录,以便下游消费者可以对此作出反应。

我很高兴地宣布Debezium的发布开云体育官方注册网址0.10.0.Alpha1

Debezium 0.10的主要主题是做开云体育官方注册网址一些清理工作(这就是你每年这个时候做的事情,对吧?);我们计划删除一些废弃的特性,并简化由不同Debezium连接器产生的CDC事件结构中的一些细节。开云体育官方注册网址

这意味着,与以前的升级相比,从早期版本升级到Debeziu开云体育官方注册网址m 0.10可能需要更多的计划和考虑,这取决于您使用的特性和选项在0.9和以前版本中已经标记为已弃用。但是不用担心,我们将在这篇博客文章中详细描述所有的变化发布说明

我很荣幸地宣布Debezium的发布开云体育官方注册网址0.9.5.Final

这是对早期版本的所有用户的建议更新;除了bug修复,还提供了一些新功能。该版本包含18个已解决的问题整体。

我很荣幸地宣布Debezium的发布开云体育官方注册网址0.9.4.Final

这是早期Debezium 0.9的临时替代品。开云体育官方注册网址X版本,主要包含bug修复和一些与度量相关的改进。总的来说,17个问题被解决。

Debe开云体育官方注册网址zium团队很高兴地宣布Debezium的发布0.9.3.Final

这主要是一个修复bug的版本,并且是早期Debezium 0.9的临时替代品。开云体育官方注册网址X版本,但也没有什么重要的新特性。总的来说,17个问题被解决。

由于Docker Hub的一些配置问题,容器镜像的发布将会有一个小的延迟。

Debe开云体育官方注册网址zium团队很高兴地宣布Debezium的发布0.9.2.Final

这主要是一个修复bug的版本,并且是早期Debezium 0.9的临时替代品。开云体育官方注册网址x版本。总的来说,18个问题被解决。

在上周发布了Debezium 0.9之后,今天我很荣幸地宣布Debezium的发布开云体育官方注册网址0.9.1.Final

此版本修复了0.9版本后报告的几个错误。最重要的是,新版本有两个补丁开云体育官方注册网址Debezium连接器用于SQL Server,以便在连接器重新启动后正确处理LSNs (dbz - 1128,dbz - 1131).接口也使用了更合理的默认值selectMethod而且fetchSizeSQL Server JDBC驱动程序的选项(dbz - 1065),可大大提高连接器的吞吐量和减少内存消耗。

MySQL连接器支持生成的列现在使用新的基于antlr的DDL解析器(dbz - 1123),并且对于Postgres连接器,改进了主键列定义更改的处理(dbz - 997).

我很高兴地宣布Debezium的发布开云体育官方注册网址0.9最终

与上周的CR1版本相比,这个版本只增加了少量的更改;最突出的是,有一些更多的指标为SQL Server连接器(滞后于主,事务的数量等)和两个错误修复相关的处理分区表在MySQL (dbz - 1113)及Postgres (dbz - 1118).

在最初的Alpha发布后的六个月里,Debezium 0.9带来了一个全新的特性开云体育官方注册网址SQL Server连接器对现有连接器进行了大量的新特性和改进,更新到最新版本的Apache Kafka和支持的数据库,以及广泛的错误修复。开云体育电动老虎机

到了Debezium 0.9的最后阶段,我很高兴地宣布Debeziu开云体育官方注册网址m将于2019年发布第一个版本,0.9.0.CR1

对于这个版本,我们主要集中在解决Debezium中遗留的问题上开云体育官方注册网址SQL Server连接器;连接器的性能得到了极大的改进,并且已经修复了相当数量的错误。

其他变化包括Debezium的事件处理程序的新接口开云体育官方注册网址嵌入式引擎,它允许批量处理更改事件,一个将数值列的规模导出为模式参数的选项,以及针对MySQL、Postgres和Oracle的Debezium连接器的广泛错误修复。开云体育官方注册网址

今年只剩下几天了,是时候发布另一个Debezium了;开云体育官方注册网址所以我很高兴地宣布Debezium开云体育官方注册网址0.9.0.Beta2

此版本支持MySQL 8和Oracle 11g;它包括用于监视SQL Server和Oracle连接器的第一个度量,对MongoDB事件扁平化SMT的几个改进以及广泛的错误修复。总的来说,不少于42个问题是解决;很明显,必须有更深层的意义在那里;)

向Debezium社区的以下成员表示感谢,他们为这次发布做出了贡献:开云体育官方注册网址埃罗Koplimets,Grzegorz Kołakowski,翰林刘,老美,雷纳托Mefi,Tautvydas Januskevicius,Wout Scheepers而且郑王

下面,让我们仔细看看0.9 Beta2发行版带来的一些变化。

我很荣幸地宣布Debezium的发布开云体育官方注册网址0.9.0.Beta1!哦,对那些正在庆祝感恩节的人,感恩节快乐!

这个新的Debez开云体育官方注册网址ium版本对我们正在进行的SQL Server连接器进行了几个很大的改进:

  • 初始快照可以使用快照隔离级别(如果在数据库中启用)(dbz - 941

  • 现在支持在设置连接器之后更改捕获表的结构(dbz - 812

  • 新的连接器选项decimal.handling.modedbz - 953)和传递任何开云体育电动老虎机数据库。*JDBC驱动程序的选项(dbz - 964

我很荣幸地宣布Debezium的发布开云体育官方注册网址0.9.0.Alpha2

在SQL Server和Oracle连接器的工作还在继续的同时,我们决定再发布一个Alpha版本,因为大量的修复和新特性(其中许多是由社区成员贡献的)已经堆积起来,我们希望尽快将它们送到您的手中。

该版本支持Apache Kafka 2.0,支持Postgres的HSTORE列类型,允许从MongoDB的更改数据消息中重命名和过滤字段,并包含多个错误修复和性能改进。总的来说,这个版本包含55修复(请注意,其中一些已经合并回0.8。X和在早期的0.8版本中也包含)。

一个大大的“谢谢”是为了社区成员安德烈Pustovetov,Artiship Artiship,悬崖Wheadon,迪帕克·巴尔,伊恩•阿克塞尔罗德,刘翰林,Maciej Bryń滑雪,Ori Popowski,彭律,菲利普Sanetra,Sagar饶而且Syed Muhammad Sufyian感谢他们对这个版本的贡献。我们向你致敬!

随着气温的下降,Debezium团队再次进入全面状态,我们很高兴地宣布De开云体育官方注册网址bezium的发布0.8.3.Final

这是Debezium 0.8当前稳定版本的一个bug修复版本。开云体育官方注册网址x,而Debezium 0.9的工作是并行开云体育官方注册网址进行的。有14日补丁在本版本中。与之前的0.8一样。x版本之后,我们进一步改进了MySQL连接器(见dbz - 901,dbz - 903而且dbz - 910).

Postgres连接器看到了大量自定义类型的数据库的启动时间的巨大改进(开云体育电动老虎机dbz - 899).报告此问题的用户在pg_catalog中有近200K项。由于Postgres驱动程序本身存在N + 1 SELECT问题,这导致连接器需要24分钟才能启动。通过使用自定义查询来获取类型元数据,我们可以将这个时间缩短到5秒!现在,我们正在与Postgres驱动程序的维护者合作,在上游修复这个问题。

Debe开云体育官方注册网址zium团队从暑假回来了,我们很高兴地宣布Debezium的发布0.8.2

这是Debezium 0.8当前稳定版本的一个bug修复版本。开云体育官方注册网址而Debezium 0.9的工作仍在继续。开云体育官方注册网址

注意:偶然地,发布工件的版本是0.8.2而不是0.8.2.Final.这与我们最近建立的约定不一致,即总是让发布版本以诸如α1,Beta1,CR1最后.0.8行的下一个版本将是0.8.3.Final我们将改进我们的发布渠道,以确保这种情况不会再次发生。

0.8.2版本包含10个补丁总的来说,它们中的大多数都处理与DDL解析相关的问题,就像Debezium所做的那样开云体育官方注册网址MySQL连接器.例如,现在使用新的基于antlr的DDL解析器将正确处理隐式的不可空主键列(dbz - 860).也MongoDB连接器看到一个错误修复(dbz - 838):如果连接器被请求停止(例如关闭Kafka Connect),初始快照将被中断。更有用的改进而不是错误修复是Postgres连接器的属性中的表、模式和数据库名称开云体育电动老虎机发出的CDC事件块(dbz - 866).

非常感谢社区成员安德烈Pustovetov,悬崖Wheadon而且Ori Popowski感谢他们对这个版本的贡献!

就在Debezium 0.8发布两周后,我很高兴地开云体育官方注册网址宣布Debezium的发布0.9.0.Alpha1

新版本的主要特性是人们期待已久的Debezium连接器的第一个正在开发的版本开云体育官方注册网址MS SQL Server.基于美国疾病控制与预防中心的功能有企业版和标准版,新的连接器可以让你从微软流行的RDBMS输出数据流。

除此之外,我们还在Debezium上继续工作开云体育官方注册网址甲骨文连接器.最值得注意的是,它现在支持捕获表的初始快照。我们还将Docker镜像中的Apache Kafka升级到1.1.1 (dbz - 829).

请看一下更改日志获取0.9.0中更改的完整列表。Alpha1和一般升级说明。

注意:在撰写本文时(2018-07-26),发布构件(连接器存档)可在Maven中央.我们将上传0.9.0版本的Docker图片。α1,码头工人中心越快越好。Docker图像已经上传,可以在标签下使用0.9.0.Alpha1和滚动0.9

我很高兴地宣布Debezium的发布开云体育官方注册网址0.8.0.Final

Debezium 0.8的主要特性是我们开云体育官方注册网址的第一个正在开发中的版本甲骨文连接器(基于XStream API)和一个全新的MySQL DDL语句解析器。除此之外,还有许多较小的新特性(例如,将默认值传播到相应的Connect模式,在CDC消息中可选地传播源查询,以及在很大程度上改进的SMT,用于将MongoDB的更改转移到RDBMS中),以及许多错误修复(例如,围绕时间和数字列类型,与Postgres的大型事务)。

请参阅以往的公告(β1,CR 1),更深入地了解所有的变化。最终版本在很大程度上类似于CR1;除了进一步改进Oracle连接器(dbz - 792),有一个很好的添加到MySQL连接器的贡献彼得Goransson:当做快照时,它现在会通过JMX (dbz - 789),这在快照较大的表时非常方便。

请看一下更改日志获取0.8.0中更改的完整列表。最终和一般升级说明。

祝美国所有Debezium用户度过一个美妙的独立日!开云体育官方注册网址但这并不是唯一值得庆祝的原因:我也非常高兴地宣布Debezium的发布开云体育官方注册网址0.8.0.CR1

跟随我们的新发布计划这个Debezium 0.8候选版本的重点是修复了上周Beta版本中报告的错误,并附开云体育官方注册网址带了少量新实现的特性。

非常感谢为MySQL连接器测试新的基于antlr的DDL解析器的每个人;根据你报告的问题,我们修复了一些bug。正如最近宣布的那样,对于0.8,遗留解析器将保持默认实现,但强烈鼓励您测试新的解析器(通过设置连接器选项)ddl.parser.modeantlr),并汇报你的调查结果。我们计划在Debezium 0.9中默认切换到新的实现。开云体育官方注册网址

我怀着极大的兴奋宣布Debezium的发布开云体育官方注册网址0.8.0.Beta1

这个版本带来了许多令人兴奋的新特性以及错误修复,例如,我们的新Oracle连接器的第一个drop,一个全新的MySQL连接器的DDL解析器,对MySQL默认值的支持以及对Apache Kafka 1.1的更新。

由于大量的更改(该版本包含完全42个问题总的来说),我们决定稍微改变我们的版本控制模式:在做最终版本之前,我们可能会做一个或多个Beta和CR(“候选版本”)版本。这将允许我们在早期从社区获得反馈,同时仍然完成和完善特定的功能。最终版(稳定版)将命名为0.8.0。最后等。

我很荣幸地宣布Debezium的发布开云体育官方注册网址0.7.5

这是一个针对0.7版本的bug修复版本,我们在开发Debezium 0.8时决定这么做。开云体育官方注册网址最值得注意的是,它修复了0.7.3引入的一个不幸的错误(dbz - 663),其中Debezium MySQL连接器的开云体育电动老虎机内部数据库历史主题可以在某些特定条件下部分删除。开云体育官方注册网址请参阅专门的博客在这个问题上,找出这是否影响到你,你应该做什么来防止这个问题。

与此同时,我们发布了一些其他的修复和改进。多亏了Maciej Brynski的表现逻辑表路由SMT已显著改善(dbz - 655).Maciej贡献的另一个修复是fordbz - 646让MySQL连接器处理创建表语句,用于TokuDB存储引擎。

我很荣幸地宣布Debezium的发布开云体育官方注册网址0.7.4

这个新版本延续了0.7版本,修复了几个错误,并增加了一些新功能。我们向所有用户推荐此升级。从早期版本升级时,请查看发布说明从您当前使用的版本到0.7.4之间的所有版本,以便了解升级可能需要的任何步骤。

我很高兴地宣布Debezium的发布开云体育官方注册网址0.7.3

这主要是一个bug修复版本,但我们也添加了一些较小的新功能。这是所有用户的推荐升级。从早期版本升级时,请查看发布说明从您当前使用的版本到0.7.3之间的所有版本,以便了解升级可能需要的任何步骤。

让我们来仔细看看一些新功能。

我很荣幸地宣布Debezium的发布开云体育官方注册网址0.7.2

在这些新特性中,有对地理空间类型的支持,用于恢复MySQL连接器丢失的DB历史主题的新快照模式,以及用于将MongoDB更改事件转换为可以被更多接收器连接器使用的结构的消息转换。当然,我们也修复了一大堆bug。

开云体育官方注册网址Debezium 0.7.2是之前0.7版本的临时替代品。x版本。从0.7.0之前的版本升级时,请查看发布说明0.7。X版本以了解升级可能需要的任何步骤。

非常感谢我们出色的社区成员为这个版本所做的辛勤工作:安德烈Pustovetov,丹尼斯Mikhaylov,彼得Goransson,罗伯特政变,Sairam Polavarapu而且汤姆宾利

现在让我们仔细看看一些新功能。

就在圣诞节前几天,我们发布了Debezium开云体育官方注册网址是0.7.1!这是一个bug修复版本,修复了我们的社区在第一轮使用Debezium 0.7时发现的一些烦人的问题。开云体育官方注册网址所有问题都与新提供的wal2json支持或降低内部竞争条件改进的风险有关。

罗伯特政变找到了一个性能回归当0.7.0与旧版本的Protobuf解码器一起使用时。

Suraj Savita(和其他人)在我们的代码失败时发现了一个问题正确的检测它与Amazon RDS wal2json插件一起运行。我们被JDBC驱动程序的内部结构所击败,并包含了一个独特的插件解码器名称wal2json_rds它会绕过检测例程,并在默认情况下期望它对Amazon RDS实例运行。此模式只应用于RDS实例。

我们还收集了第一次尝试使用亚马逊RDS的反馈一小部分在我们关于这个主题的文档中。

虽然还没到圣诞节,但我们已经为你准备了一份礼物:Debezium开云体育官方注册网址0.7.0在这里,充满了新功能以及许多错误修复!非常感谢所有为这次发布做出贡献的社区成员。令人鼓舞的是,我们不仅看到越来越多的问题和功能请求被报告,而且还看到了越来越多的请求。

请注意,此版本对某些数据类型的默认映射进行了少量更改。我们尽量避免这种变化,但在某些情况下,这是必须的,例如,如果之前的映射可能会导致潜在的价值损失。请参阅下面的详细信息,并确保查看完整更改日志详细描述了这些变化。

现在让我们仔细看看一些新功能。

我们正在加速!在0.6.1发布三周后,Debezium团队带来了开云体育官方注册网址开云体育官方注册网址Debezium 0.6.2给你!

这个版本主要围绕bug修复展开,但也有一些新特性。让我们仔细看看其中的一些变化。

在0.6.0发布不到一个月后,我很高兴地宣布发布开云体育官方注册网址Debezium 0.6.1

这个版本包含了几个错误修复,依赖升级和一个新的控制方式的选项长整型数字无符号列被传达。我们还扩展了Docker映像和Docker Compose文件的集合我们的教程,所以您现在就可以使用我们支持的所有数据库运行它。开云体育电动老虎机

让我们仔细看看其中的一些变化。

有什么比得到更好的呢Java 9?同时获得Java 9和新版本的Debezium !开云体育官方注册网址所以我非常高兴地宣布开云体育官方注册网址Debezium 0.6今天。

我很高兴地宣布开云体育官方注册网址Debezium 0.5.2

与之前的版本一样,0.5.2版本修复了MySQL,Postgres而且MongoDB连接器。但也有一些新的功能和选项:

  • decimal.handling.mode选项已经知道从MySQL连接器现在也支持PostgreSQL (dbz - 337).它让你控制方式数字而且小数列在更改事件中表示(使用Kafka的)小数打字或按).

  • MongoDB连接器支持这些选项开云体育电动老虎机database.whitelist而且开云体育电动老虎机database.blacklist现在(dbz - 302

  • PostgreSQL连接器可以处理数组类型的列,以及表、模式等的带引号的标识符。dbz - 297,dbz - 298

  • Debe开云体育官方注册网址zium Docker图像在Red Hat上运行OpenShift云环境(dbz - 267

我很荣幸地宣布开云体育官方注册网址Debezium 0.5.1

此版本修复了MySQL,Postgres而且MongoDB连接器。它还支持一些新的数据类型:在MySQL (dbz - 222),TSTZRANGE有关Postgres (dbz - 280).此版本是0.5.0的直接替代品,建议所有用户升级。

请注意,如果您碰巧为MySQL的所有系统表启用了Debezium,那么任何配置的表过滤器现在也将应用于这些系统表(开云体育官方注册网址dbz - 242).如果您确实希望捕获所有系统表,但只捕获选定的非系统表,则可能需要调整过滤器。

我们很高兴地宣布开云体育官方注册网址Debezium 0.5.0现在可用于Kafka连接0.10.2.0.此版本还包括一些修复MySQL连接器.看到发布说明有关这些更改的详细信息,请参阅卡夫卡的文档与你正在使用的Kafka代理版本的兼容性。

Kafka Connect 0.10.2.0带来了一个重要的新特性单个消息转换,现在可以将它们与Debezium连接器一起使用。开云体育官方注册网址smt允许您在将消息写入Kafka之前修改Debezium连接器和其他任何Kafka Connect开云体育官方注册网址源连接器产生的消息。smt也可以与Kafka Connect接收器连接器一起使用来修改消息之前接收器连接器处理它们。您可以使用smt过滤或屏蔽特定字段、添加新字段、修改现有字段、更改将消息写入的主题和/或主题分区,等等。你甚至可以将多个smt链接在一起。

Kafka Connect提供了许多内置的SMT,你可以简单地配置和使用,但你也可以创建自己的SMT实现来做更复杂和有趣的事情。例如,尽管Debezium连接器通常将每个表开云体育官方注册网址(或集合)中的所有更改映射到单独的主题,但您可以编写一个自定义SMT,在表和主题之间使用完全不同的映射,甚至向消息键和/或值添加字段。使用你的新SMT也很简单——简单地把它放在Kafka Connect类路径上,并更新连接器配置来使用它。

我们还添加了开云体育官方注册网址Debezium Docker图像贴上标签0.5而且最新的,我们在我们的教程

感谢Sanjay和社区中的每个人对这个发布、问题、讨论、贡献和问题的帮助!

我们很高兴地宣布开云体育官方注册网址Debezium 0.4.1现在可以在Kafka Connect 0.10.1.1中使用。此版本包括对MongoDB连接器而且MySQL连接器,包括改进的支持Amazon RDS而且Amazon Aurora (MySQL兼容性).看到发布说明了解这些变化的具体情况。

我们也更新了开云体育官方注册网址Debezium Docker图像贴上标签0.4而且最新的,我们在我们的教程

感谢Jan、Horia、David、Josh、Johan、Sanjay、Saulius以及社区中的每一个人对这个发布、问题、讨论、贡献和问题的帮助!

最近发布的De开云体育官方注册网址bezium,我们很高兴地宣布一个新的PostgreSQL连接器已经与现有的MySQL和MongoDB连接器一起添加。

我们很高兴地宣布开云体育官方注册网址Debezium 0.4.0现在可以在Kafka Connect 0.10.1.1中使用。此版本引入了一个新的PostgreSQL连接器,并包含超过12个修复组合MongoDB连接器而且MySQL连接器,包括初步支持Amazon RDS而且Amazon Aurora (MySQL兼容性).看到发布说明了解这些变化的具体情况。

我们还创建了开云体育官方注册网址Debezium Docker图像贴上标签0.4而且最新的,我们在我们的教程

感谢Horia、Chris、Akshath、Ramesh、Matthias、Anton、Sagi、barton和其他人在此发布、问题、讨论、贡献和问题方面的帮助!

我们很高兴地宣布开云体育官方注册网址Debezium 0.3.6现在可以在Kafka Connect 0.10.0.1中使用。此版本包含针对MySQL连接器和MongoDB连接器的十多个修复程序。看到发布说明了解这些变化的具体情况。

我们也更新了开云体育官方注册网址Debezium Docker图像贴上标签0.3而且最新的,我们在我们的教程

感谢Farid、RenZhu、Dongjun、Anton、Chris、Dennis、Sharaf、Rodrigo、Tim和其他人在这个发布、问题、讨论、贡献和问题上的帮助!

我们很高兴地宣布开云体育官方注册网址Debezium 0.3.5现在可以在Kafka Connect 0.10.0.1中使用。此版本包含对MySQL连接器的几个修复,并添加了使用with的功能多主MySQL服务器作为来源。看到发布说明了解这些变化的具体情况。我们也更新了开云体育官方注册网址Debezium Docker图像贴上标签0.3而且最新的,我们在我们的教程

其中一个修复是重要的,所以我们强烈建议所有用户从所有早期版本升级到此版本。在以前的版本中,MySQL连接器可能会在未完成事务中的所有更新时停止,并且当连接器重新启动时,它会以下一个事务,因此可能无法捕获早期事务中的一些更改事件。这个版本修复了这个问题,所以当重新启动时,它总是会从它离开的地方开始,即使那个点是在事务中间。注意,此修复仅在连接器升级并重新启动后生效。看到这个问题欲知详情。

感谢Akshath、Anton、Chris和其他人在发布、问题、讨论、贡献和问题方面的帮助!

我们很高兴地宣布开云体育官方注册网址Debezium 0.3.4现在可以在Kafka Connect 0.10.0.1中使用。这个版本包含了MySQL连接器的几个新特性:对MySQL的支持JSON数据类型,一个新的快照模式称为schema_only,JMX指标.此外,Zookeep开云体育官方注册网址er、Kafka和Kafka Connect的Debezium Docker镜像已经全部更新,可以选择使用公开JMX度量在这些服务中。并且,对更改事件做了一个向后不兼容的修复ts_sec字段。看到发布说明的细节。

我们也更新了开云体育官方注册网址Debezium Docker图像贴上标签0.3而且最新的,我们在我们的教程

感谢Akshath、Chris、Vitalii、Dennis、Prannoy和其他人在发布、问题、讨论、贡献和问题方面的帮助!

我们很高兴地宣布开云体育官方注册网址Debezium 0.3.3现在可以在Kafka Connect 0.10.0.1中使用。此版本包含少量的错误修复和小的改进MySQL连接器,包括更好的处理位(n)值,枚举而且这个版本还改进了MySQL连接器输出的日志消息,以便在使用源数据库的更改时更好地表示正在进行的活动。开云体育电动老虎机看到发布说明的细节。

我们也更新了开云体育官方注册网址Debezium Docker图像贴上标签0.3而且最新的,我们在我们的教程.我们还更新了教程来使用最新的Docker安装在Linux、Windows和OS X上运行。

感谢Akshath、Chris、Randy、Prannoy、Umang、Horia和其他人在发布、问题、讨论、贡献和问题方面的帮助!

我们很高兴地宣布开云体育官方注册网址Debezium 0.3.2现在可以在Kafka Connect 0.10.0.1中使用。此版本包含少量的错误修复和小的改进MySQL连接器而且MongoDB连接器.MySQL连接器处理得更好位(n)价值观和新鲜感日期和时间戳值。此版本还改进了MySQL和MongoDB连接器输出的日志消息,以便在使用源数据库中的更改时更好地表示正在进行的活动。开云体育电动老虎机看到发布说明的细节。

我们也更新了开云体育官方注册网址Debezium Docker图像贴上标签0.3而且最新的,我们在我们的教程.我们还更新了教程来使用最新的Docker安装在Linux、Windows和OS X上运行。

感谢Akshath、Colum、Emmanuel、Konstantin、Randy、RenZhu、Umang和其他人在发布、问题、讨论、贡献和问题方面的帮助!

我们很高兴地宣布开云体育官方注册网址Debezium 0.3.1现在可以在Kafka Connect 0.10.0.1中使用。此版本包含更新的MySQL连接器修复了一些错误,并进行了两个重要的但向后兼容的更改。首先,MySQL连接器现在支持使用安全连接到MySQL,增加了现有的安全连接到Kafka的能力。其次,MySQL连接器能够使用适当的字符集捕获MySQL字符串值,以便在事件中正确地捕获存储在数据库中的任何值。开云体育电动老虎机看到我们的发布说明有关这些更改的详细信息和升级建议。

我们也更新了开云体育官方注册网址Debezium Docker图像贴上标签0.3而且最新的,我们在我们的教程

感谢Chris、Akshath、barten和其他人在发布、问题、讨论、贡献和问题方面的帮助!

耽搁了几周后,开云体育官方注册网址Debezium 0.3.0现已可用用于Kafka Connect 0.10.0.1。此版本包含更新的MySQL连接器修复了不少bug,还有一个新的MongoDB连接器捕获对MongoDB副本集或MongoDB分片集群的更改。看到文档有关如何配置这些连接器及其工作方式的详细信息。

我们也更新了开云体育官方注册网址Debezium Docker图像(与标签0.3而且最新的)用于我们的教程

感谢Andrew、Bhupinder、Chris、David、Horia、Konstantin、Tony和其他人在发布、问题、讨论、贡献和问题方面的帮助!

我很高兴地宣布开云体育官方注册网址Debezium 0.2.4现已可用用于Kafka Connect 0.9.0.1。这个版本在MySQL快照期间增加了更多详细的日志记录,支持对非常大的MySQL数据库进行快照,并纠正在安全关机期间的潜在异常。开云体育电动老虎机看到我们的发布说明有关这些更改的详细信息和升级建议。

我们也更新了开云体育官方注册网址Debezium Docker图像(与标签0.2而且最新的)用于我们的教程

感谢David和wangshao在发布、议题、讨论、贡献和问题方面的帮助!请继续关注我们的下一个版本,它将是0.3,将有一个新的MongoDB连接器,并将支持Kafka Connect 0.10.0.1。

我很高兴地宣布开云体育官方注册网址Debezium 0.2.3现已可用用于Kafka Connect 0.9.0.1。此版本更正了MySQL连接器在使用时的行为非常小的整数而且短整型列或时间,日期,时间戳列。看到我们的发布说明有关这些更改的详细信息和升级建议。

我们也更新了开云体育官方注册网址Debezium Docker图像(与标签0.2而且最新的)用于我们的教程

感谢Chris、Christian、Laogang和Tony在发布、问题、讨论、贡献和问题方面的帮助!请继续关注我们的下一个版本,它将是0.3,将有一个新的MongoDB连接器,并将支持Kafka Connect 0.10.0.0。

我很高兴地宣布开云体育官方注册网址Debezium 0.2.2现已可用.这个版本修复了MySQL连接器中的几个错误,这些错误会产生错误的更改事件这消除了连接器崩溃的可能性,导致连接器只处理多行MySQL事件中的一些行。看到我们的发布说明有关这些更改的详细信息和升级建议。

同时,感谢一个社区成员报告Debez开云体育官方注册网址ium 0.2。x只能在Kafka Connect 0.9.0.1中使用。开云体育官方注册网址Debezium 0.2。x不能用于Kafka Connect 0.10.0.0,因为它的向后不兼容的更改到使用者API.我们的下一个Debezium版本将支持K开云体育官方注册网址afka 0.10.x。

我们也更新了开云体育官方注册网址Debezium Docker图像(与标签0.2而且最新的)用于我们的教程

我很高兴地宣布开云体育官方注册网址Debezium 0.2.1现已可用.的MySQL连接器已经得到了显著的改进,现在能够监视和产生变更事件HA MySQL集群使用GTIDs,执行a一致的快照第一次开机时,又进行了完全重新设计事件消息结构这为每个事件提供了大量的信息。我们的更改日志拥有关于bug、增强功能、新功能和向后兼容性通知的所有详细信息。我们也更新了教程

更新(2019年10月11日):在Kubernetes上运行Debezium(以及Apache Kafka和Kafka Connect)的另一种更简单的方法开云体育官方注册网址是使用K8s操作符,例如Strimzi.你可以在OpenShift上找到Debezium的设置说明开云体育官方注册网址在这里,类似的步骤适用于普通Kubernetes。

我们的开云体育官方注册网址Debezium教程通过安装、启动和连接在一台主机上运行的所有Docker容器,逐步引导您使用开云体育官方注册网址Debezium。当然,你可以使用Docker Compose或你自己的脚本来简化这一点,尽管这只是在一台机器上自动运行所有容器。您真正想要的是在一个机器集群上运行容器。在这篇博客中,我们将使用来自Red Hat和谷歌开云体育官方注册网址的容器集群管理器来运行DebeziumKubernetes

Kubernetes是容器(Docker/Rocket/Hyper.sh)集群管理工具。像许多其他流行的集群管理和计算资源调度平台一样,Kubernetes的根源是谷歌,它对大规模运行容器并不陌生。它们开始、停止和聚集每周20亿个集装箱他们为Linux内核基础做出了很多贡献,使容器成为可能。他们著名的论文之一讨论了一个名为Borg的内部集群管理器。有了Kubernetes,谷歌厌倦了每个人都用Java实现他们的论文,所以他们决定自己实现这个:)

Kubernetes是用Go-lang编写的,正在迅速成为大规模调度、管理和集群容器的事实上的API。这个博客并不是Kubernetes的入门,所以我们建议你去开始来了解更多关于Kubernetes的信息。

开云体育官方注册网址Debezium是一个分布式平台,它将现有数据库转换为事件流,因此应用程序几乎可以立即看到并响应数据开云体育电动老虎机库中提交的每一个行级更改。开云体育官方注册网址Debezium是建立在卡夫卡并提供卡夫卡连接监控特定数据库管理系统的兼容连接器。开云体育电动老虎机开云体育官方注册网址Debezium在Kafka日志中记录了数据更改的历史,所以你的应用程序可以在任何时候停止和重新启动,并且可以很容易地使用它没有运行时错过的所有事件,确保所有事件都被正确和完整地处理。开云体育官方注册网址Debezium是开源Apache许可证,版本2.0

现在好消息是开云体育官方注册网址Debezium 0.1现已可用并包括以下几个重要特性:

  • 一个MySQL连接器来监控MySQL数据库。开云体育电动老虎机它是一个Kafka Connect源连接器,所以只需将其安装到Kafka Connect服务中(见下文),并使用该服务的REST API来配置和管理到每个DBMS服务器的连接器。连接器读取MySQL binlog,并为监视数据库中提交的每一个行级修改生成数据更改事件。开云体育电动老虎机MySQL连接器在行更改时根据表的结构生成事件,并自动处理对表结构的更改。

  • 一个小的库,所以应用程序可以嵌入任何Kafka连接连接器并使用直接从源系统读取的数据更改事件。这提供了一个轻量级得多的系统(因为不需要Zookeeper、Kafka和Kafka Connect服务),但由于应用程序必须维护通常保存在Kafka的分布式和复制日志中的状态,因此它的容错性和可靠性不高。因此,应用程序完全负责管理所有状态。

Baidu
map