开云体育官方注册网址Debezium MongoDB的连接器

MongoDB连接器可以捕获从一个变化MongoDB副本集。生产副本集需要最少的至少有三个成员。

使用MongoDB连接器与一套副本,提供一个或多个副本设置服务器的地址种子地址通过连接器的mongodb.hosts财产。连接到连接器将使用这些种子副本集,一旦连接会复制设置配套的成员和主要成员。连接器将开始一个任务连接到小学和捕获主要oplog的变化。副本集选举新主时,任务会自动切换到新的主。

一个MongoDB集群分片包括:

与分片集群使用MongoDB的连接器,连接器配置的主机地址配置服务器副本集。当连接器连接到这个副本集,它发现它是作为分片集群的配置服务器,发现每个副本的信息作为集群中的碎片,然后启动一个单独的任务来捕获每个副本的更改集。如果新碎片被添加到集群或现有的碎片移除,连接器将自动调整其相应的任务。

MongoDB连接器有能力监测的变化不是一个独立的MongoDB服务器,因为没有oplog独立服务器。连接器将如果独立服务器转换为一套副本的一个成员。

连接器配置属性mongodb.name作为一个逻辑名MongoDB集群复制设置或分片。连接器使用逻辑名以多种方式:所有主题名称的前缀,惟一标识符当记录oplog每个副本集的位置。

你应该给每个MongoDB连接器独特的逻辑名,有意义地描述了源MongoDB系统。我们建议逻辑名以字母或下划线开始,和剩下的字母数字或下划线字符。

使用一套副本任务启动时,它使用连接器的逻辑名称和副本集名称找到一个抵消描述的位置在连接器的副本集oplog之前停止阅读。如果可以找到一个偏移量,它仍然是在oplog,然后立即收益的任务尾矿的oplog,从记录的偏移位置。

然而,如果没有找到抵消或如果oplog不再包含那个位置,这个任务必须首先获得的当前状态设置内容通过执行一个复制品初始同步。这个过程开始通过记录当前位置的oplog和记录作为偏移量(连同一个标记,表示一个初始同步已经启动)。的任务,将继续复制每个集合,产生尽可能多的线程(的值initial.sync.max.threads并行配置属性)来执行这项工作。连接器将一个单独的记录读取事件为每个文档它看到,读取事件将包含对象的标识符,对象的完整状态源MongoDB的信息副本集对象被发现的地方。源信息还将包括一个国旗,表示在初始同步产生的事件。

这个初始同步将继续,直到它已复制所有集合相匹配的连接器的过滤器。如果连接器停止之前任务的初始同步完成后,在重新启动连接器开始初始同步一次。

一旦连接器的任务副本集有一个偏移量,它使用抵消oplog确定位置的,它应该开始阅读。的任务,将连接到主节点集的复制品,开始阅读oplog从那个位置,处理所有的创建、插入和删除操作和转换成Debezium开云体育官方注册网址更改事件。每个更改事件包括位置在oplog操作被发现,和连接器定期记录这是最近的偏移量。(偏移量的时间间隔记录是由offset.flush.interval.ms卡夫卡连接工人配置属性。)

在连接器停止时优雅,最后抵消处理记录,在重新启动后,连接器将继续完全离开。如果连接器的任务意外终止,然而,那么任务可能处理和生成的事件后,最后记录偏移量但在最后抵消记录;在重新启动后,连接器在最后开始记录抵消,可能产生一些以前生成的相同事件之前就崩溃。

如上所述,连接器的任务总是使用复制集的主节点到尾oplog,确保连接器看到最新的操作,可以捕获具有低延迟的变化比中学要使用。副本集选举新主时,连接器将立即停止跟踪oplog,连接到新的初选,并开始跟踪新的主oplog开始在同一位置。同样,如果连接器任何问题与副本集成员交流经验,它将尝试重新连接(使用指数倒扣,以便不淹没副本集),一旦连接继续尾矿oplog从去年离开。这样连接器能够动态适应变化的副本集成员和自动处理失败的沟通。

底线是,MongoDB连接器将继续运行在大多数情况下,虽然沟通问题可能会导致连接器等到问题解决。

MongoDB连接器写事件对于所有插入、更新和删除操作文档在每个集合到一个卡夫卡的话题。卡夫卡的话题总是表单的名称logicalName。开云体育电动老虎机数据库名。collectionName,在那里logicalName是逻辑名与指定的连接器mongodb.name配置属性,开云体育电动老虎机数据库名是数据库的名称,操作发生,然后呢开云体育电动老虎机collectionNameMongoDB集合的名称中受影响的文件存在。

例如,考虑一个MongoDB设置一个复制品库存开云体育电动老虎机数据库包含四个集合:产品,products_on_hand,客户,订单。如果连接器监控这个数据库的逻辑名称开云体育电动老虎机实现,那么连接器生产这四个卡夫卡事件主题:

注意,主题名称不包含副本集名称或碎片的名字。结果,所有更改到分片集合(每个碎片都包含集合的一个子集的文档)都去同一个卡夫卡的话题。

您可以设置卡夫卡自动创建的话题,因为他们是必要的。如果不是,那么您必须使用卡夫卡管理工具来创建主题开始前连接器。

MongoDB连接器不作任何明确的确定主题分区的事件。相反,它允许卡夫卡决定分区基于关键。你可以改变卡夫卡的分区逻辑卡夫卡连接工人配置中定义的名称瓜分者实现。

注意,卡夫卡只维护总订单事件写入单个主题分区。分区键的事件意味着所有事件具有相同关键总是去同一分区,确保所有事件为一个特定的文档总是完全命令。

所有数据更改事件产生的MongoDB连接器有一个键和一个值。

开云体育官方注册网址Debezium和卡夫卡连接的设计连续的事件消息流的结构,这些事件可能会随时间改变,如果这些事件改变了结构的来源或者连接器改进或改变。这可能是消费者很难处理,因此使它非常容易卡夫卡连接使每个事件自包含的。每条消息键和值有两个部分:一个模式和有效载荷。模式描述了结构的负载,而负载包含实际的数据。

使用连接器生产更改事件特定MongoDB集群复制设置或分片,JSON中创建一个配置文件。连接器启动时,它将执行初始同步的集合MongoDB副本集和开始阅读复制集的oplogs生产事件每插入、更新和删除行。选择性地过滤掉不需要的集合。

下面是一个例子,MongoDB连接器的配置,监控MongoDB副本集rs0在端口27017上192.168.99.100,我们逻辑上的名字fullfillment。通常,您配置Debezium MongoDB的连接器开云体育官方注册网址. json使用连接器可用的配置属性文件。

看到连接器属性的完整列表在这些配置可以指定。

这个配置可以通过POST发送到运行卡夫卡连接服务,然后记录配置并启动一个将连接器连接到MongoDB的任务副本集或分片集群,每个副本集分配任务,执行初始同步如果必要,阅读oplog,卡夫卡主题和记录事件。

以下配置属性要求除非一个默认值是可用的。

以下先进的配置属性都有现成的,在大多数情况下工作,因此很少需要指定连接器的配置。

连接器将启动时失败,报告的错误/异常日志,并停止运行时,连接器的配置无效,或当连接器反复失败连接MongoDB使用指定连接参数。重新连接使用指数倒扣,尝试的最大数量是可配置的。

在这些情况下,错误将会有更多的细节问题和建议解决。连接器可以重新启动时配置被纠正或MongoDB问题已经解决。

一旦运行连接器,如果主节点的MongoDB副本设置不可用或不可访问的,连接器将多次尝试重新连接到主节点,使用指数倒扣防止饱和网络或服务器。如果主仍然不可用后可配置数量的连接尝试,连接器将会失败。

尝试重新连接控制的三个属性:

每个延迟是之前的两倍延迟,最大延迟。给定的默认值,下表显示了每个失败的连接请求的延迟时间和总积累失败。

如果卡夫卡连接正在运行在分布式模式中,优雅地和卡夫卡连接过程停止,然后关闭之前处理卡夫卡连接将迁移过程的连接器任务到另一个组的卡夫卡连接过程中,连接器和新任务将接任务之前离开的确切位置。有一个短暂的延迟在处理连接器任务优雅地停止并重新启动新的流程。

如果组只包含一个过程,过程是优雅地停了下来,然后卡夫卡连接将停止连接器和记录每个副本的最后抵消。重启后,副本集任务将继续自己的确切位置。

如果卡夫卡连接器进程意外停止,然后将终止运行的任何连接器的任务是没有记录他们最最近处理补偿。当卡夫卡连接在分布式模式下运行,它将在其他进程重启这些连接器的任务。然而,MongoDB连接器将恢复从最后一个偏移量记录早些时候的过程,这意味着新的替换任务可能会产生一些相同的更改事件被处理之前就崩溃。重复事件的数量取决于抵消冲洗周期和变化的数据量就在崩溃。

连接器生成变化事件,记录这些事件在卡夫卡的卡夫卡连接框架使用卡夫卡生产商API。卡夫卡连接也会定期记录最新的抵消,出现在这些更改事件,在一个频率你卡夫卡连接工人配置中指定。如果卡夫卡经纪人不可用,卡夫卡连接工作进程运行连接器只会反复尝试重新连接卡夫卡经纪人。换句话说,连接器的任务将暂停,直到可以恢复连接,此时连接器将恢复他们到底去哪里。

如果连接器优雅地停止,副本设置可以继续使用和记录在MongoDB的oplog任何新的变化。连接器重新启动时,它将继续阅读每个副本的oplog组最后一个离开的,记录更改事件所做出的所有更改同时连接器停了下来。如果连接器停止足够长的时间,这样从oplog MongoDB清洗一些操作连接器没有读,然后启动时连接器将执行初始同步。

一个正确配置卡夫卡集群的能力巨大的吞吐量。卡夫卡连接与卡夫卡写的最佳实践,并给予足够的资源也能够处理大量数据库变更事件。开云体育电动老虎机正因为如此,当一个连接器已经重启过了一会儿,它很有可能赶上数据库,尽管速度取决于卡夫卡的功能和性能和体积变化的MongoDB中的数据。开云体育电动老虎机

MongoDB有可能失去在具体故障情况下提交。例如,如果主要适用于变化,记录其oplog然后意外崩溃之前,二级节点可能没有有机会读这些变化从主前oplog主坠毁。如果这样一个二次被选为主要,这是oplog丢失过去的变化,旧的主记录,不再有这些变化。

在这些情况下,MongoDB失去改变记录在主的oplog, MongoDB连接器可能可能会或可能不会捕捉这些损失的变化。在这个时候,没有办法防止这种MongoDB的副作用。