开云体育官方注册网址MongoDB的Debezium连接器

MongoDB连接器支持以下MongoDB拓扑:

连接器配置属性mongodb.name作为逻辑名用于MongoDB副本集或分片集群。连接器以多种方式使用逻辑名:作为所有主题名的前缀，以及在记录每个副本集的oplog位置时作为唯一标识符。

您应该为每个MongoDB连接器提供一个唯一的逻辑名称，该名称可以有意义地描述源MongoDB系统。我们建议逻辑名称以字母或下划线字符开头，其余字符为字母数字或下划线。

当一个任务使用复制集启动时，它使用连接器的逻辑名和复制集名来查找抵消它描述连接器先前停止读取更改的位置。如果可以找到一个偏移量，并且它仍然存在于oplog中，那么任务立即继续执行流的变化，从记录的偏移位置开始。

但是，如果没有发现偏移量，或者如果oplog不再包含该位置，任务必须首先通过执行命令获取复制集内容的当前状态快照．这个过程首先记录oplog的当前位置，并将其记录为偏移量(以及一个表示快照已经启动的标志)。然后，该任务将继续复制每个集合，生成尽可能多的线程(直到snapshot.max.threads配置属性)以并行地执行此工作。连接器将记录一个单独的读取事件对于它看到的每个文档，读取事件将包含对象的标识符、对象的完整状态和源关于该对象所在的MongoDB副本集的信息。源信息还将包括一个标志，表示快照期间产生的事件。

此快照将继续，直到复制了与连接器筛选器匹配的所有集合为止。如果连接器在任务的快照完成之前停止，重新启动时连接器将再次开始快照。

在复制集的连接器任务记录了偏移量之后，它使用偏移量来确定在oplog中的位置，它应该从哪里开始流化更改。然后，该任务连接到副本集的主节点，并从该位置开始流化更改。它处理所有的创建、插入和删除操作，并将它们转换为Debezium开云体育官方注册网址更改事件．每个更改事件都包括在oplog中发现操作的位置，连接器定期将其记录为最近的偏移量。记录偏移量的间隔由offset.flush.interval.ms，这是一个Kafka连接工人配置属性。

当连接器优雅地停止时，将记录处理的最后一个偏移量，以便重新启动时，连接器将准确地继续它停止的位置。然而，如果连接器的任务意外终止，那么任务可能在它最后一次记录偏移量之后，但在最后一次记录偏移量之前处理并生成了事件;重新启动时，连接器从最后一个开始记录偏移，可能会生成一些与之前在崩溃之前生成的事件相同的事件。

如上所述，连接器任务总是使用复制集的主节点来传输来自oplog的更改，从而确保连接器尽可能看到最新的操作，并且能够以比使用辅助节点更低的延迟捕获更改。当副本集选择一个新的主节点时，连接器立即停止流化更改，连接到新的主节点，并从相同位置的新主节点开始流化更改。同样地，如果连接器遇到任何与复制集成员通信的问题，它会尝试重新连接，使用指数回退以避免淹没复制集，并且一旦连接，它将继续从上次离开的地方进行流更改。通过这种方式，连接器能够动态地调整副本集成员关系的变化，并自动处理通信故障。

总之，MongoDB连接器在大多数情况下继续运行。通信问题可能导致连接器等待问题解决。

MongoDB连接器将对每个集合中的文档的所有插入、更新和删除操作的事件写入到单个Kafka主题。卡夫卡主题的名称总是采用这种形式logicalName．开云体育电动老虎机数据库名．collectionName,在那里logicalName是逻辑名属性指定的连接器的mongodb.name配置属性,开云体育电动老虎机数据库名发生操作的数据库名称和开云体育电动老虎机collectionName是受影响文档所在的MongoDB集合的名称。

例如，考虑一个MongoDB副本集库存开云体育电动老虎机数据库包含四个集合:产品，products_on_hand，客户,订单．如果监视此数据库的连接器被赋予的逻辑名称为开云体育电动老虎机实现，那么连接器将在这四个Kafka主题上产生事件:

注意，主题名称不包含复制集名称或碎片名称。因此，对切分集合(其中每个切分包含集合文档的子集)的所有更改都转到相同的Kafka主题。

你可以设置卡夫卡自动创建根据需要选择题目。如果不是，那么你必须在启动连接器之前使用Kafka管理工具来创建主题。

MongoDB连接器没有明确决定如何为事件划分主题。相反，它允许Kafka根据事件键来决定如何划分主题。的名称可以改变Kafka的分区逻辑瓜分者在Kafka Connect worker配置中实现。

Kafka只维护写入单个主题分区的事件的总顺序。按键划分事件意味着具有相同键的所有事件总是进入相同的分区。这确保了特定文档的所有事件总是完全有序的。

开云体育官方注册网址Debezium可以生成表示事务元数据边界的事件，并丰富更改数据事件消息。

每笔交易开始而且结束， 开云体育官方注册网址Debezium生成一个包含以下字段的事件:

下面的例子显示了一个典型的消息:

方法覆盖transaction.topic选项时，事务事件被写入指定的主题开云体育电动老虎机database.server.name.transaction．

启用事务元数据时，数据消息信封是充实了新的事务字段。这个字段以复合字段的形式提供关于每个事件的信息:

下面是一条消息的示例:

更改事件的键包含已更改文档的键的模式和已更改文档的实际键。对于给定的集合，模式及其相应的有效负载都包含一个单一的id字段。此字段的值是文档的标识符，表示为派生的字符串MongoDB扩展JSON序列化的严格模式．

考虑逻辑名为的连接器实现对象的复制集库存开云体育电动老虎机数据库，以及客户集合，其中包含以下文档。

对象的更改的每个更改事件客户集合具有相同的事件键模式。只要客户集合具有前面的定义，则捕获对的更改的每个更改事件客户集合具有以下关键结构。在JSON中，它看起来是这样的:

本例使用一个具有整数标识符的文档，但任何有效的MongoDB文档标识符都以相同的方式工作，包括文档标识符。对于文档标识符，事件键的值payload.idValue是一个字符串，表示更新后的文档的原始内容_id字段作为使用严格模式的MongoDB扩展JSON序列化。下表提供了不同类型的_id字段被表示出来。

change事件中的值比键稍微复杂一些。和键一样，值也有模式Section和a有效载荷部分。的模式类的模式信封的结构有效载荷节，包括其嵌套字段。用于创建、更新或删除数据的操作的更改事件都具有具有信封结构的值有效负载。

考虑用于显示更改事件键示例的相同示例文档:

本文档更改的更改事件的值部分针对每种事件类型进行了描述:

对象中创建数据的操作所生成的更改事件的值部分，示例如下客户集合:

样例中更新的更改事件的值客户集合的模式与创建事件。同样，事件值的有效负载具有相同的结构。事件值有效负载中包含不同的值更新事件。一个更新事件没有后价值。相反，它有以下两个字段:

中的更新中连接器生成的事件中的更改事件值的示例客户集合:

的值删除改变事件有相同之处模式部分为创建而且更新事件。的有效载荷的一部分删除事件包含的值与创建而且更新事件。特别地，删除事件既不包含后价值也不是补丁价值。这里有一个例子删除属性中的文档的客户集合:

MongoDB连接器事件设计用于工作Kafka对数压缩．日志压缩允许删除一些较旧的消息，只要每个键至少保留最近的消息。这让Kafka回收存储空间，同时确保主题包含一个完整的数据集，并可用于重新加载基于键的状态。

唯一标识文档的所有MongoDB连接器事件都具有完全相同的键。删除文档时，删除event值仍然适用于日志压缩，因为Kafka可以删除所有具有相同键的早期消息。然而，Kafka要删除所有具有该键的消息，消息值必须为零．为了实现这一点，在Debezium的MongoDB连接器发开云体育官方注册网址出一个删除事件时，连接器发出一个特殊的墓碑事件，该事件具有相同的键，但具有零价值。墓碑事件通知Kafka所有具有相同键的消息都可以被删除。