开云体育官方注册网址Debezium MySQL连接器

MySQL有一个二进制日志(binlog)，它按照提交到数据库的顺序记录所有操作。开云体育电动老虎机这包括对表模式和表内数据的更改。MySQL使用binlog进行复制和恢复。

Debe开云体育官方注册网址zium MySQL连接器读取binlog并为行级生成更改事件插入，更新,删除在Kafka主题中记录更改事件。客户端应用程序读取这些Kafka主题。

由于MySQL通常设置为在指定的一段时间后清除二进制日志，MySQL连接器执行初始化一致的快照您的每个数据库。开云体育电动老虎机MySQL连接器从创建快照的位置读取binlog。

下面几节提供了关于Debezium MySQL连接器如何工作的更详细信息，指导您如何设置它，以及如何部署和排除连接器故障。开云体育官方注册网址

MySQL连接器如何工作的概述

MySQL连接器如何工作的概述
设置MySQL服务器
部署MySQL连接器
MySQL连接器常见问题

Debe开云体育官方注册网址zium MySQL连接器跟踪表的结构，执行快照，将binlog事件转换为Debezium更改事件，并记录这些事件在Kafka中记录的位置。

MySQL连接器如何使用数据库模式开云体育电动老虎机

当数据库客户端开云体育电动老虎机查询数据库时，客户端使用数据库的当前模式。但是，数据库模式可以在任何开云体育电动老虎机时候更改，这意味着连接器必须能够识别记录每个插入、更新或删除操作时的模式。此外，连接器不能只使用当前模式，因为连接器可能正在处理相对较旧的事件，并且可能在表的模式更改之前就已经记录了这些事件。

为了处理这个问题，MySQL在binlog中包含了对数据的行级更改和应用到数据库的DDL语句。开云体育电动老虎机当连接器读取binlog并遇到这些DDL语句时，它会解析它们并更新每个表的模式的内存表示。连接器使用这种模式表示在每次插入、更新或删除时识别表的结构，并产生适当的更改事件。在一个单独的数据库历史Kaf开云体育电动老虎机ka主题中，连接器还记录了所有DDL语句以及每个DDL语句在binlog中的出现位置。

当连接器在崩溃或正常停止后重新启动时，连接器开始从特定位置(即从特定时间点)读取binlog。连接器通过读取数据库历史Kafka主题并解析所有DDL语句，直到连接器开始的binlog点，从而重新构建此时存在的表结构。开云体育电动老虎机

此数据库历开云体育电动老虎机史记录主题仅供连接器使用。连接器可以有选择地在针对使用者应用程序的不同主题上生成模式更改事件。这在MySQL连接器如何暴露模式更改．

当MySQL连接器捕获表中的更改时，模式更改工具(如gh-ost或pt-online-schema-change则在迁移过程中创建的帮助表需要包含在所包含的表中。

如果下游系统不需要临时表生成的消息，那么可以编写并应用一个简单的消息转换来过滤掉它们。

有关主题命名约定的信息，请参见MySQL连接器和Kafka主题．

MySQL连接器如何执行数据库快照开云体育电动老虎机

当您的Debeziu开云体育官方注册网址m MySQL连接器第一次启动时，它执行初始化一致的快照你的数据库。开云体育电动老虎机下面的流程描述了快照是如何完成的。

这是默认的快照模式，设置为最初的在snapshot.mode财产。有关其他快照模式，请参阅MySQL连接器配置属性．

连接器…

一步行动

1

抓住一个全局读锁那块写通过其他数据库客户开云体育电动老虎机端。

快照本身并不阻止其他客户端应用DDL，这可能会干扰连接器读取binlog位置和表模式的尝试。全局读锁被保留，同时binlog位置被读取，然后在后面的步骤中释放。

2

使用可重复读语义来确保事务中的所有后续读取都是针对一致的快照．

3.

读取当前binlog的位置。

4

读取连接器配置允许的数据库和表的模式。开云体育电动老虎机

5

释放全局读锁．这现在允许其他数据库客户端写入数据库。开云体育电动老虎机

6

将DDL更改写入模式更改主题，包括所有必要的更改滴……而且创建…DDL语句。

如果适用，会发生这种情况。

7

扫描数据库表并生成开云体育电动老虎机创建事件的相关表特定的Kafka主题的每一行。

8

提交事务。

9

在连接器偏移量中记录完成的快照。

如果连接器失效会发生什么?

时，如果连接器失效、停止或重新平衡初始快照，连接器将在重新启动后创建一个新的快照。一旦开始快照完成后，Debezium MySQL开云体育官方注册网址连接器将从binlog中的相同位置重新启动，因此它不会错过任何更新。

如果连接器停止的时间足够长，MySQL就会清除旧的binlog文件，连接器的位置就会丢失。如果位置丢失，连接器将恢复到初始快照它的起始位置。有关Debezium MySQL连接器故障排除的更多技巧，请参见开云体育官方注册网址MySQL连接器常见问题．

如果不允许全局读锁怎么办?

某些环境不允许全局读锁．如果Debez开云体育官方注册网址ium MySQL连接器检测到不允许全局读锁，则连接器使用表级锁，并使用此方法执行快照。

用户必须有LOCK_TABLES特权。

连接器…

一步行动

1

使用可重复读语义来确保事务中的所有后续读取都是针对一致的快照．

2

读取并过滤数据库和表的名称。开云体育电动老虎机

3.

读取当前binlog的位置。

4

读取连接器配置允许的数据库和表的模式。开云体育电动老虎机

5

将DDL更改写入模式更改主题，包括所有必要的更改滴……而且创建…DDL语句。

如果适用，会发生这种情况。

6

扫描数据库表并生成开云体育电动老虎机创建事件的相关表特定的Kafka主题的每一行。

7

提交事务。

8

释放表级锁。

9

在连接器偏移量中记录完成的快照。

MySQL连接器如何暴露模式更改

您可以配置Debezium开云体育官方注册网址MySQL连接器生成模式更改事件，其中包括应用于MySQL服务器中的数据库的所有DDL语句。开云体育电动老虎机连接器将所有这些事件写入一个名为< serverName >在哪里serverName连接器名称是否与开云体育电动老虎机database.server.name配置属性。

如果你选择使用架构更改事件，使用模式更改主题和不使用数据库历史记录主题。开云体育电动老虎机

数据库模式历史中事件的全局顺序是至关重要的。开云体育电动老虎机因此，不能对数据库历史主题进行开云体育电动老虎机分区。这意味着在创建此主题时必须指定分区计数为1。当依赖于自动主题创建时，确保Kafka的num.partitions配置选项(默认分区数)设置为1．

架构更改主题结构

写入模式更改主题的每个消息都包含一个消息键，其中包含应用DDL语句时使用的连接数据库的名称:开云体育电动老虎机

{"schema": {"type": "struct"， "name": "io. d开云体育官方注册网址ebezum .connector.mysql. schemachangekey "， "optional": false， "fields": [{"开云体育电动老虎机field": "databaseName"， "type": "string"， "optional": false}]}， "payload": {"databaseName": "inventory"}}

架构更改事件消息值包含一个结构，该结构包括DDL语句、语句应用到的数据库以及语句在binlog中的位置:开云体育电动老虎机

{"模式":{“类型”:“结构”、“名称”:“io.debezium.connector开云体育官方注册网址.mysql.SchemaChangeValue”、“可选”:假的,“字段”:[{“字段”:“数据库名”、“类型”:“弦”、“可选”:假},{”字段”:“d开云体育电动老虎机dl”、“类型”:“弦”、“可选”:假},{”字段”:“源”、“类型”:“结构”、“名称”:“io.debezium.connector.mysql.Source”、“可选”:假的,“字段”:[{“类型”:“弦”、“可选”:真的,“场”:“版本”},{“类型”:“弦”、“可选”:假的,“场”:“name”},{“类型”:“int64”、“可选”:假的,“场”:“server_id”},{“类型”:“int64”、“可选”:假的,“场”:“ts_sec”},{“类型”:“弦”、“可选”:真的,“场”:“gtid”},{“类型”:“弦”、“可选”:假的,“场”:“文件”},{“类型”:“int64”、“可选”:假的,“场”:“pos”},{“类型”:“int32”、“可选”:假的,“场”:“行”},{“类型”:“布尔”、“可选”:真的,“默认”:假的,“场”:“快照”},{“类型”:“int64”、“可选”:真的,“场”:“线程”},{“类型”:"string"， "optional": true， "field": "db"}， {"type": "string"， "optional": true， "field": "table"}， {"type": "string"， "optional": true， "field": "query"}]}]}， "payload": {"databaseNa开云体育电动老虎机me": "inventory"， "ddl": "CREATE table products (id INTEGER NOT NULL AUTO_INCREMENT PRIMARY KEY, name VARCHAR(255) NOT NULL, description VARCHAR(512)， weight FLOAT);ALTER TABLE products AUTO_INCREMENT = 101;"， "source": {"version": "0.10.0. "Beta4”、“名称”:“mysql-server-1”、“server_id”:0,”ts_sec”:0,”gtid”:空,“文件”:“mysql-bin。000003.", "pos": 154, "row": 0, "snapshot": true, "thread": null, "db": null, "table": null, "query": null } } }

关于模式更改主题的重要提示

的ddlfield可能包含多个DDL语句。中的每个语句都应用于数据库开云体育电动老虎机开云体育电动老虎机数据库名字段，并以与在数据库中应用时相同的顺序显示。开云体育电动老虎机的源字段的结构完全是写入特定于表的主题的标准数据更改事件。此字段用于关联不同主题的事件。

．．．．"payload": {"d开云体育电动老虎机atabaseName": "inventory"， "ddl": "CREATE TABLE products (id INTEGER NOT NULL AUTO_INCREMENT PRIMARY KEY，…“来源”:{....}} ....

如果客户端将DDL语句提交给多个数据库开云体育电动老虎机?

如果MySQL原子地应用这些DDL语句，连接器将按顺序获取DDL语句，按数据库对它们进行分组，并为每个组创建一个模式更改事件。开云体育电动老虎机
如果MySQL分别应用它们，连接器将为每条语句创建一个单独的模式更改事件。

额外的资源

如果您不使用架构更改主题详情在这里，查看开云体育电动老虎机数据库历史主题．

MySQL连接器事件

Debe开云体育官方注册网址zium MySQL连接器为每个行级生成一个数据更改事件插入，更新,删除操作。每个事件包含一个键和一个值。键和值的结构取决于所更改的表。

开云体育官方注册网址Debezium和Kafka Connect就是围绕这个设计的连续的事件消息流．但是，这些事件的结构可能会随着时间的推移而改变，这对消费者来说可能很难处理。为了解决这个问题，每个事件都包含其内容的模式，或者，如果使用模式注册中心，则包含消费者可以用来从注册中心获取模式的模式ID。这使得每个事件都是自包含的。

下面的JSON骨架显示了变更事件的四个基本部分。然而，你如何配置你选择在你的应用程序中使用的Kafka Connect转换器，决定了这四个部分在变更事件中的表示。一个模式字段仅在配置转换器以产生该字段时才处于更改事件中。同样，事件键和事件有效负载只有在配置转换器以产生它时才位于更改事件中。如果你使用JSON转换器，并配置它来生成所有四个基本的变更事件部分，则变更事件具有以下结构:

{"schema": {(1）．.．}， "有效载荷":{（2）．.．}， "schema": {（3）．.．}， "有效载荷":{（4）．.．}},

表1。变更事件基本内容概述
项	字段名	描述
1	`模式`	第一个`模式`字段是事件键的一部分。它指定了一个Kafka Connect模式，用来描述事件键的内容`有效载荷`部分。换句话说，是第一个`模式`字段描述已更改表的主键的结构，如果表没有主键，则描述唯一键。属性可以覆盖表的主键`message.key.columns`连接器配置属性．在本例中，第一个模式字段描述由该属性标识的键的结构。
2	`有效载荷`	第一个`有效载荷`字段是事件键的一部分。它具有前面所描述的结构`模式`字段，它包含已更改行的键。
3.	`模式`	第二个`模式`字段是事件值的一部分。它指定Kafka Connect模式，描述事件值中的内容`有效载荷`部分。换句话说，是第二种`模式`描述已更改行的结构。通常，这个模式包含嵌套的模式。
4	`有效载荷`	第二个`有效载荷`字段是事件值的一部分。它具有前面所描述的结构`模式`字段，它包含已更改行的实际数据。

默认情况下，连接器流将事件记录更改为主题，其名称与事件的原始表相同。看到MySQL连接器和Kafka主题．

MySQL连接器确保所有Kafka Connect模式名称都遵循Avro模式名称格式．这意味着逻辑服务器名必须以拉丁字母或下划线开头，即a-z、a-z或_。逻辑服务器名中的每个剩余字符以及数据库名和表名中的每个字符必须是拉丁字母、数字或下划线，即a-z、a-z、0-9或\_。开云体育电动老虎机如果存在无效字符，则将其替换为下划线字符。

如果逻辑服务器名、数据库名或表名包含无效字符，并且区分名称之间的唯一字符无效，因此用下划线替换，则可能导致意外冲突。开云体育电动老虎机

更改事件键

更改事件的键包含已更改表的键和已更改行的实际键的模式。模式及其对应的有效负载都为更改后的表的每一列包含一个字段主键(或唯一约束)在连接器创建事件时。

考虑以下几点客户表，后面是此表的更改事件键的示例。

例表

CREATE TABLE customers (id INTEGER NOT NULL AUTO_INCREMENT PRIMARY KEY, first_name VARCHAR(255) NOT NULL, last_name VARCHAR(255) NOT NULL, email VARCHAR(255) NOT NULL UNIQUE KEY) AUTO_INCREMENT=1001;

更改事件键的示例

对象的更改的每个更改事件客户表具有相同的事件键模式。只要客户表具有前面的定义，则捕获对的更改的每个更改事件客户表的键结构如下。在JSON中，它看起来是这样的:

{"schema": {(1）"type": "struct"， "name": "mysql-server-1.inventory.customers.Key"，（2）“可选”:假的,（3）“字段”:[（4）{“字段”:“id”,“类型”:“int32”,“可选”:假}},“有效载荷”:{（5）"id": 1001}}

表2。更改事件键的描述
项	字段名	描述
1	`模式`	密钥的模式部分指定了一个Kafka Connect模式，该模式描述了密钥中的内容`有效载荷`部分。
2	`mysql服务器- 1. inventory.customers.key`	定义键的有效负载结构的模式的名称。此模式描述已更改表的主键的结构。关键模式名具有该格式connector-name．开云体育电动老虎机数据库名称．表名．`关键`．在这个例子中: `mysql-server-1`生成此事件的连接器的名称。 `库存`包含已更改的表开云体育电动老虎机的数据库。 `客户`已更新的表。
3.	`可选`	指示事件键是否必须在其中包含值`有效载荷`字段。在本例中，需要键的有效负载中的值。当表没有主键时，键的有效载荷字段中的值是可选的。
4	`字段`	属性中期望的每个字段`有效载荷`，包括每个字段的名称、类型以及是否需要。
5	`有效载荷`	包含为其生成此更改事件的行的键。在本例中，键包含一个单键`id`字段，其值为`1001`．

更改事件值

change事件中的值比键稍微复杂一些。和键一样，值也有模式Section和a有效载荷部分。的模式类的模式信封的结构有效载荷节，包括其嵌套字段。用于创建、更新或删除数据的操作的更改事件都具有具有信封结构的值有效负载。

考虑用于显示更改事件键示例的同一个示例表:

CREATE TABLE customers (id INTEGER NOT NULL AUTO_INCREMENT PRIMARY KEY, first_name VARCHAR(255) NOT NULL, last_name VARCHAR(255) NOT NULL, email VARCHAR(255) NOT NULL UNIQUE KEY) AUTO_INCREMENT=1001;

更改此表的更改事件的值部分针对每种事件类型进行了描述:

创建事件
更新事件
删除事件

创建事件

对象中创建数据的操作所生成的更改事件的值部分，示例如下客户表:

{"schema": {(1）"type": "struct"， "fields": [{"type": "int32"， "optional": false， "field": "id"}， {"type": "string"， "optional": false， "field": "first_name"}， {"type": "string"， "optional": false， "field": "last_name"}， {"type": "string"， "optional": false， "field": "email"}]， "optional": true， "name": "mysql-server-1.inventory.customers.Value"，（2）"field": "before"}， {"type": "struct"， "fields": [{"type": "int32"， "optional": false， "field": "id"}， {"type": "string"， "optional": false， "field": "last_name"}， {"type": "string"， "optional": false， "field": "email"}]， "optional": true， "name": "mysql-server-1.inventory.customers "。价值", "field": "after" }, { "type": "struct", "fields": [ { "type": "string", "optional": false, "field": "version" }, { "type": "string", "optional": false, "field": "connector" }, { "type": "string", "optional": false, "field": "name" }, { "type": "int64", "optional": false, "field": "ts_sec" }, { "type": "boolean", "optional": true, "default": false, "field": "snapshot" }, { "type": "string", "optional": false, "field": "db" }, { "type": "string", "optional": true, "field": "table" }, { "type": "int64", "optional": false, "field": "server_id" }, { "type": "string", "optional": true, "field": "gtid" }, { "type": "string", "optional": false, "field": "file" }, { "type": "int64", "optional": false, "field": "pos" }, { "type": "int32", "optional": false, "field": "row" }, { "type": "int64", "optional": true, "field": "thread" }, { "type": "string", "optional": true, "field": "query" } ], "optional": false, "name": "io.debezium.connector.mysql.Source",（3）"field": "source"}， {"type": "string"， "optional": false， "field": "op"}， {"type": "int64"， "optional": true， "field": "ts_ms"}]， "optional": false， "name": "mysql-server-1.inventory. clients . envelope "（4）}， "有效载荷":{（5）“人事处”:“c”,(6）“ts_ms”:1465491411815,(7）“之前”:空,（8）"后":{（9)"id": 1004， "first_name": Anne"， "last_name": Kretchmar"， "email": "annek@noanswer.org"}， "source": {（10）“版本”:“1.3.1。Final"， "connector": "mysql"， "name": "mysql-server-1"， "ts_sec": 0， "snapshot": false， "db": "inventory"， "table": "customers"， "server_id": 0， "gtid": null， "file": "mysql-bin "。000003"， "pos": 154， "row": 0， "thread": 7， "query": "INSERT INTO customers (first_name, last_name, email) VALUES ('Anne'， 'Kretchmar'， 'annek@noanswer.org')"}}}

表3。的描述创建事件值字段
项	字段名	描述
1	`模式`	值的模式，它描述值的有效负载的结构。连接器为特定表生成的每个更改事件中，更改事件的值模式都是相同的。
2	`的名字`	在`模式`节中,每`的名字`Field指定值的有效负载中字段的模式。 `mysql服务器- 1. inventory.customers.value`有效负载的模式是`之前`而且`后`字段。此模式特定于`客户`表格的模式名称`之前`而且`后`字段的格式为`logicalName．的表value`，确保模式名在数据库中是唯一的。开云体育电动老虎机这意味着当使用Avro转换器，每个逻辑源中每个表的结果Avro模式都有自己的演变和历史。
3.	`的名字`	`io.开云体育官方注册网址debezium.connector.mysql.Source`有效负载的模式是`源`字段。这个模式是特定于MySQL连接器的。连接器将其用于生成的所有事件。
4	`的名字`	`mysql服务器- 1. inventory.customers.envelope`有效负载的总体结构的模式在哪里`mysql-server-1`是连接器名称，`库存`是数据库，和开云体育电动老虎机`客户`是桌子。
5	`有效载荷`	该值为实际数据。这是变更事件提供的信息。事件的JSON表示形式似乎比它们描述的行要大得多。这是因为JSON表示必须包括消息的模式和有效负载部分。然而，通过使用Avro转换器，你可以显著减少连接器流到Kafka主题的消息的大小。
6	`人事处`	返回string，描述导致连接器产生事件的操作类型。在这个例子中，`c`表示该操作创建了一行。有效值为: `c`=创建 `u`=更新 `d`=删除 `r`= read(仅适用于快照)
7	`ts_ms`	可选字段，显示连接器处理事件的时间。该时间基于运行Kafka Connect任务的JVM中的系统时钟。
8	`之前`	可选字段，指定事件发生之前行的状态。当`人事处`字段是`c`对于create，就像在本例中一样`之前`字段是`零`因为这个更改事件是针对新内容的。
9	`后`	可选字段，指定事件发生后行的状态。在本例中，`后`字段包含新行的值`id`，`first_name`，`last_name`,`电子邮件`列。
10	`源`	描述事件的源元数据的必填字段。此字段包含可用于将此事件与其他事件进行比较的信息，包括事件的起源、事件发生的顺序以及事件是否是同一事务的一部分。源元数据包括: 开云体育官方注册网址Debezium版本连接器的名字记录事件的Binlog名称 binlog位置事件中的行如果事件是快照的一部分包含新行的数据库和表的名开云体育电动老虎机称创建事件的MySQL线程的ID(仅限非快照) MySQL服务器ID(如果可用) 时间戳如果`binlog_rows_query_log_events`启用MySQL配置选项和连接器配置`include.query`属性启用时，则`源`字段还提供`查询`字段，其中包含导致更改事件的原始SQL语句。

更新事件

样例中更新的更改事件的值客户表的模式与创建事件。同样，事件值的有效负载具有相同的结构。事件值有效负载中包含不同的值更新事件。中的更新中连接器生成的事件中的更改事件值的示例客户表:

{"schema":{…}， "payload": {"before": {(1）“id”:1004年,“first_name”:“安妮”,“last_name”:“Kretchmar”、“电子邮件”:“annek@noanswer.org”},“后”:{（2）"id": 1004， "first_name": "Anne Marie"， "last_name": "Kretchmar"， "email": "annek@noanswer.org"}， "source": {（3）“版本”:“1.3.1。Final"， "name": "mysql-server-1"， "connector": "mysql"， "name": "mysql-server-1"， "ts_sec": 1465581， "snapshot": false， "db": "inventory"， "table": "customers"， "server_id": 223344， "gtid": null， "file": "mysql-bin "。000003"， "pos": 484， "row": 0， "thread": 7， "query": "UPDATE customers SET first_name='Anne Marie' WHERE id=1004"}， "op": "u"，（4）"ts_ms": 1465581029523}}

表4。的描述更新事件值字段
项	字段名	描述
1	`之前`	可选字段，指定事件发生之前行的状态。在一个更新事件值，则`之前`字段包含每个表列的字段以及数据库提交前该列中的值。开云体育电动老虎机在本例中，`first_name`值是`安妮。`
2	`后`	可选字段，指定事件发生后行的状态。你可以比较`之前`而且`后`结构来确定对该行的更新内容。在本例中，`first_name`价值就是现在`安妮玛丽`．
3.	`源`	描述事件的源元数据的必填字段。的`源`字段结构中的字段与创建事件，但有些值是不同的，例如，示例更新事件在binlog中的不同位置。源元数据包括: 开云体育官方注册网址Debezium版本连接器的名字记录事件的Binlog名称 binlog位置事件中的行如果事件是快照的一部分包含已更新行的数据库和表开云体育电动老虎机的名称创建事件的MySQL线程的ID(仅限非快照) MySQL服务器ID(如果可用) 时间戳如果`binlog_rows_query_log_events`启用MySQL配置选项和连接器配置`include.query`属性启用时，则`源`字段还提供`查询`字段，其中包含导致更改事件的原始SQL语句。
4	`人事处`	返回string，描述操作类型。在一个更新事件值，则`人事处`字段值为`u`，表示该行因更新而更改。

更新一行的主键/唯一键的列将更改该行键的值。当一个键改变时，Debezium输出开云体育官方注册网址三个事件:删除事件和墓碑上的事件使用该行的旧键，然后使用该行的新键执行一个事件。详情见下一节。

主键更新

一个更新更改行的主键字段的操作称为主键更改。对于主键更改，替换为更新事件记录时，连接器发出删除事件记录的旧键和创建新的(更新的)键的事件记录。这些事件具有通常的结构和内容，此外，每个事件都有一个与主键更改相关的消息头:

的删除事件记录有__开云体育官方注册网址debezium.newkey作为消息头。此标头的值是更新行的新主键。
的创建事件记录有__开云体育官方注册网址debezium.oldkey作为消息头。此标头的值是已更新行的前一个(旧的)主键。

删除事件

的值删除改变事件有相同之处模式部分为创建而且更新同一表的事件。的有效载荷的一部分删除事件。客户表是这样的:

{"schema":{…}， "payload": {"before": {(1）"id": 1004， "first_name": "Anne Marie"， "last_name": "Kretchmar"， "email": "annek@noanswer.org"}， "after": null，（2）“源”:{（3）“版本”:“1.3.1。Final"， "connector": "mysql"， "name": "mysql-server-1"， "ts_sec": 1465581， "snapshot": false， "db": "inventory"， "table": "customers"， "server_id": 223344， "gtid": null， "file": "mysql-bin "。000003"， "pos": 805， "row": 0， "thread": 7， "query": "DELETE FROM customers WHERE id=1004"}， "op": "d"，（4）“ts_ms”:1465581902461（5）}}

表5所示。的描述删除事件值字段
项	字段名	描述
1	`之前`	可选字段，指定事件发生之前行的状态。在一个删除事件值，则`之前`字段包含在数据库提交时删除该行之前该行中的值。开云体育电动老虎机
2	`后`	可选字段，指定事件发生后行的状态。在一个删除事件值，则`后`字段是`零`，表示该行已不存在。
3.	`源`	描述事件的源元数据的必填字段。在一个删除事件值，则`源`字段结构与for相同创建而且更新同一表的事件。许多`源`字段值也相同。在一个删除事件值，则`ts_ms`而且`pos`字段值以及其他值可能已经更改。但是,`源`字段在删除事件值提供相同的元数据: 开云体育官方注册网址Debezium版本连接器的名字记录事件的Binlog名称 binlog位置事件中的行如果事件是快照的一部分包含已更新行的数据库和表开云体育电动老虎机的名称创建事件的MySQL线程的ID(仅限非快照) MySQL服务器ID(如果可用) 时间戳如果`binlog_rows_query_log_events`启用MySQL配置选项和连接器配置`include.query`属性启用时，则`源`字段还提供`查询`字段，其中包含导致更改事件的原始SQL语句。
4	`人事处`	返回string，描述操作类型。的`人事处`字段值为`d`，表示该行已被删除。
5	`ts_ms`	可选字段，显示连接器处理事件的时间。该时间基于运行Kafka Connect任务的JVM中的系统时钟。

一个删除更改事件记录为使用者提供了处理删除该行所需的信息。包含旧值是因为一些使用者可能需要它们来正确处理删除。

MySQL连接器事件设计用于工作Kafka对数压缩．日志压缩允许删除一些较旧的消息，只要每个键至少保留最近的消息。这让Kafka回收存储空间，同时确保主题包含一个完整的数据集，并可用于重新加载基于键的状态。

墓碑上的事件

删除一行时，删除event值仍然适用于日志压缩，因为Kafka可以删除所有具有相同键的早期消息。然而，Kafka要删除所有具有相同键的消息，消息值必须为零．为了实现这一点，在Debezium的MySQL连接器发出一开云体育官方注册网址个删除事件时，连接器发出一个特殊的墓碑事件，该事件具有相同的键，但具有零价值。

MySQL连接器如何映射数据类型

Debe开云体育官方注册网址zium MySQL连接器用事件表示行更改，事件的结构类似于行所在的表。该事件为每个列值包含一个字段。该列的MySQL数据类型决定了该值在事件中的表示方式。

存储字符串的列在MySQL中使用字符集和排序规则定义。MySQL连接器在binlog事件中读取列值的二进制表示时使用列的字符集。下表显示了连接器如何将MySQL数据类型映射到两者文字而且语义类型。

文字类型:如何使用Kafka Connect模式类型来表示值
语义类型: Kafka Connect模式如何捕获字段的含义(模式名)

MySQL类型文字类型语义类型

布尔,布尔值

布尔

N/A

位(1)

布尔

N/A

位(> 1)

字节

io.开云体育官方注册网址debezium.data.Bits

的长度模式参数包含一个表示比特数的整数。的byte []包含的位低位优先形式，并调整大小以包含指定的位数。

示例(其中n为位)

numBytes = n/8 + (n%8== 0 ?0: 1)

非常小的整数

INT16

N/A

短整型((M))

INT16

N/A

MEDIUMINT ((M))

INT32

N/A

整数,整数((M))

INT32

N/A

长整型数字((M))

INT64

N/A

真正的((M, D))

FLOAT32

N/A

浮动((M, D))

FLOAT64

N/A

双((M, D))

FLOAT64

N/A

CHAR (M))

字符串

N/A

VARCHAR (M))

字符串

N/A

二进制(M))

字节或字符串

N/A

原始字节(默认值)、base64编码的字符串或十六进制编码的字符串二进制处理模式设置

VARBINARY (M))

字节或字符串

N/A

原始字节(默认值)、base64编码的字符串或十六进制编码的字符串二进制处理模式设置

TINYBLOB

字节或字符串

N/A

原始字节(默认值)、base64编码的字符串或十六进制编码的字符串二进制处理模式设置

非常小的文本串

字符串

N/A

团

字节或字符串

N/A

原始字节(默认值)、base64编码的字符串或十六进制编码的字符串二进制处理模式设置

文本

字符串

N/A

MEDIUMBLOB

字节或字符串

N/A

原始字节(默认值)、base64编码的字符串或十六进制编码的字符串二进制处理模式设置

简单

字符串

N/A

LONGBLOB

字节或字符串

N/A

原始字节(默认值)、base64编码的字符串或十六进制编码的字符串二进制处理模式设置

量变

字符串

N/A

JSON

字符串

io.开云体育官方注册网址debezium.data.Json

的字符串表示形式JSON文档、数组或标量。

枚举

字符串

io.开云体育官方注册网址debezium.data.Enum

的允许Schema参数包含以逗号分隔的允许值列表。

集

字符串

io.开云体育官方注册网址debezium.data.EnumSet

的允许Schema参数包含以逗号分隔的允许值列表。

年[(2 | 4)]

INT32

io.开云体育官方注册网址debezium.time.Year

时间戳((M))

字符串

io.开云体育官方注册网址debezium.time.ZonedTimestamp

在ISO 8601格式微秒精度。MySQL允许米在…的范围内0 - 6．

时间值

不包括时间戳的值，MySQL的时态类型取决于time.precision.mode配置属性。为时间戳列的默认值指定为CURRENT_TIMESTAMP或现在，值1970-01-01就是是Kafka Connect模式的默认值。

MySQL允许为零值日期,日期时间,时间戳列，因为零值有时比空值更可取。当列定义允许空值时，MySQL连接器将零值表示为空值，当列不允许空值时，则将零值表示为历元日。

没有时区的时间值

的DATETIMEType表示本地日期和时间，例如“2018-01-13 09:48:27”。如您所见，这里没有时区信息。这些列将使用UTC根据列的精度转换为历元毫秒或微秒。的时间戳type表示一个没有时区信息的时间戳，MySQL在写入时将服务器(或会话的)当前时区转换为UTC，在读取值时则相反。例如:

DATETIME值为2018-06-20 06:37:03就变成了1529476623000．
时间戳值为2018-06-20 06:37:03就变成了2018 - 06 - 20 - t13:37:03z．

这些列被转换为等效的列io.开云体育官方注册网址debezium.time.ZonedTimestamp基于服务器(或会话)当前时区的UTC格式。默认从服务器上查询时区。方法显式指定开云体育电动老虎机database.serverTimezone连接器配置属性。例如，如果数据库的时区(全局的或为连接器开云体育电动老虎机配置的)开云体育电动老虎机database.serverTimezoneproperty)表示“America/Los_Angeles”，则TIMESTAMP值“2018-06-20 06:37:03”用ZonedTimestamp值为“2018-06-20T13:37:03Z”。

注意，运行Kafka Connect和Debezium的JVM的时区不会影响这些转换。开云体育官方注册网址

的文档中有有关术语值的属性的详细信息MySQL连接器配置属性．

time.precision.mode = adaptive_time_microseconds(默认)

MySQL连接器根据列的数据类型定义确定文字类型和语义类型，以便事件准确地表示数据库中的值。开云体育电动老虎机所有时间字段都以微秒为单位。只有积极的时间范围内的字段值00:00:00.000000来23:59:59.999999可以正确捕获。

MySQL类型文字类型语义类型

日期

INT32

io.开云体育官方注册网址debezium.time.Date

表示自epoch以来的天数。

((M))

INT64

io.开云体育官方注册网址debezium.time.MicroTime

表示以微秒为单位的时间值，不包括时区信息。MySQL允许米在…的范围内0 - 6．

Datetime, Datetime (0)， Datetime (1)， Datetime (2)， Datetime (3)

INT64

io.开云体育官方注册网址debezium.time.Timestamp

表示过去纪元的毫秒数，不包括时区信息。

Datetime (4)， Datetime (5)， Datetime (6)

INT64

io.开云体育官方注册网址debezium.time.MicroTimestamp

表示经过epoch的微秒数，不包括时区信息。

time.precision.mode =连接

MySQL连接器使用预定义的Kafka Connect逻辑类型。此方法不如默认方法精确，如果数据库列具有开云体育电动老虎机分数秒精度值大于3.．范围内的值00:00:00.000来23:59:59.999可以处理。集time.precision.mode =连接只有你能保证时间表中的值永远不会超过支持的范围。的连接设置有望在Debezium的未来版本中被删除。开云体育官方注册网址

MySQL类型文字类型语义类型

日期

INT32

org.apache.kafka.connect.data.Date

表示自epoch以来的天数。

((M))

INT64

org.apache.kafka.connect.data.Time

表示自午夜以来的时间值(以微秒为单位)，不包括时区信息。

DATETIME ((M))

INT64

org.apache.kafka.connect.data.Timestamp

表示自epoch以来的毫秒数，不包括时区信息。

十进制值

方法处理小数decimal.handling.mode财产。

看到MySQL连接器配置属性欲知详情。

decimal.handling.mode =精确

MySQL类型文字类型语义类型

数字((M [D]))

字节

org.apache.kafka.connect.data.Decimal

的规模模式参数包含一个整数，表示小数点移位了多少位。

小数((M [D]))

字节

org.apache.kafka.connect.data.Decimal

的规模模式参数包含一个整数，表示小数点移位了多少位。

decimal.handling.mode =双

MySQL类型文字类型语义类型

MySQL类型	文字类型	语义类型
`数字((M [D]))`	`FLOAT64`	N/A
`小数((M [D]))`	`FLOAT64`	N/A

数字((M [D]))

FLOAT64

N/A

小数((M [D]))

FLOAT64

N/A

decimal.handling.mode =字符串

MySQL类型文字类型语义类型

MySQL类型	文字类型	语义类型
`数字((M [D]))`	`字符串`	N/A
`小数((M [D]))`	`字符串`	N/A

数字((M [D]))

字符串

N/A

小数((M [D]))

字符串

N/A

布尔值

MySQL处理布尔以特定的方式进行内部价值评估。的布尔列在内部映射到非常小的整数(1)数据类型。当在流期间创建表时，它使用proper布尔当Debezium接收开云体育官方注册网址到原始DDL时映射。在快照期间Debezium执行开云体育官方注册网址显示创建表获取返回的表定义非常小的整数(1)对于这两个布尔而且非常小的整数(1)列。

开云体育官方注册网址Debezium则没有办法获得原始类型映射并将其映射到非常小的整数(1)．操作员可以配置开箱即用自定义转换器TinyIntOneToBooleanConverter这将映射所有非常小的整数(1)列布尔或者,如果选择器参数，则可以使用逗号分隔的正则表达式枚举列的子集。

一个示例配置是

converters=boolean boolean.type=io.开云体育官方注册网址debezium.connector.mysql.converters.TinyIntOneToBooleanConverter boolean.selector=db1.table1。*, db1.table2.column1

空间数据类型

目前，Debezium MyS开云体育官方注册网址QL连接器支持以下空间数据类型:

MySQL类型文字类型语义类型

几何，线串，多边形，多点，多线串，多多边形，几何集合

结构体

io.开云体育官方注册网址debezium.data.geometry.Geometry

包含两个字段的结构:

srid (INT32:空间引用系统id，定义存储在结构中的几何对象类型
wkb(字节):以wkb格式编码的几何对象的二进制表示形式。看到开放地理空间联盟欲知详情。

MySQL连接器和Kafka主题

Debe开云体育官方注册网址zium MySQL连接器为所有人写入事件插入，更新,删除从一个表到一个Kafka主题的操作。Kafka主题命名约定如下:

格式

serverName.开云体育电动老虎机databaseName.tableName

例1。例子

我们假设实现服务器名和库存是包含的数据库开云体育电动老虎机吗三个表的订单，客户,产品．Debe开云体育官方注册网址zium MySQL连接器在三个Kafka主题上产生事件，分别对应数据库中的每个表:开云体育电动老虎机

履行。库存。订单履行。库存。客户履行。库存。产品

MySQL支持的拓扑

Debe开云体育官方注册网址zium MySQL连接器支持以下MySQL拓扑:

独立的

当使用单个MySQL服务器时，服务器必须启用binlog (并可选地启用gtid)，这样Debez开云体育官方注册网址ium MySQL连接器就可以监视服务器。这通常是可以接受的，因为二进制日志也可以用作增量日志备份．在这种情况下，MySQL连接器总是连接并跟随这个独立的MySQL服务器实例。

主和副本

Debe开云体育官方注册网址zium MySQL连接器可以跟随一个主服务器或一个副本(如果该副本启用了binlog)，但是连接器只能看到对该服务器可见的集群中的更改。通常，除了多主拓扑，这不是问题。

连接器记录其在服务器binlog中的位置，该位置在集群中的每个服务器上都是不同的。因此，连接器只需要跟随一个MySQL服务器实例。如果该服务器发生故障，则必须重新启动或恢复服务器，然后连接器才能继续。

高可用集群

各种各样的高可用性MySQL的解决方案是存在的，它们使它更容易容忍和几乎立即从问题和失败中恢复。大多数HA MySQL集群使用gtid，以便副本能够跟踪任何主服务器上的所有更改。

Multi-primary

一个链接:NDB集群复制使用一个或多个MySQL复制节点，每个复制节点从多个主服务器复制。这是聚合多个MySQL集群复制的强大方法，需要使用gtid。

Debe开云体育官方注册网址zium MySQL连接器可以使用这些多主MySQL副本作为源，并且可以故障转移到不同的多主MySQL副本，只要新副本赶上旧副本(例如，新的副本拥有最后一次在第一个副本上看到的所有事务)．即使连接器只使用数据库和/或表的一个子集，这也可以工作，因为当试图重新连接到一个新的多主MySQL副本并在binlog开云体育电动老虎机中找到正确的位置时，连接器可以配置为包括或排除特定的GTID源。

主持

Debezium MySQL连接器支持使用托管选项开云体育官方注册网址，如Amazon RDS和Amazon Aurora。

因为这些托管选项不允许全局读锁，表级锁用于创建一致的快照．

为Debezium创建MySQL用户开云体育官方注册网址

您必须定义一个对Debezium MySQL连接器监视的所有数据库具有适当权限的MySQL用户。开云体育官方注册网址开云体育电动老虎机

先决条件

你必须有一个MySQL服务器。
您必须了解基本的SQL命令。

过程

创建MySQL用户:

mysql> CREATE USER ' USER '@'localhost' IDENTIFIED BY 'password'

授予用户所需的权限:

mysql>授权选择，重新加载，显示数据库，复制从，复制客户端上*。开云体育电动老虎机*以“密码”识别的“用户”;

看到权限的解释对于每个权限的注释。

如果使用托管选项，如Amazon RDS或Amazon Aurora，则不允许全局读锁，表级锁用于创建一致的快照．在这种情况下，您还需要授予LOCK_TABLES您所创建的用户的权限。看到MySQL连接器如何工作的概述欲知详情。

确定用户权限:

mysql> FLUSH PRIVILEGES;

权限的解释

许可/项目描述

选择

允许连接器从数据库中的表中选择行开云体育电动老虎机

仅在执行快照时使用。

重新加载

使连接器能够使用冲洗语句来清除或重新加载内部缓存、刷新表或获取锁。

仅在执行快照时使用。

显示数据库开云体育电动老虎机

命令使连接器可以查看数据库名称开云体育电动老虎机显示数据库开云体育电动老虎机声明。

仅在执行快照时使用。

复制的奴隶

允许连接器连接和读取MySQL服务器的binlog。

复制客户端

允许连接器使用以下语句:

显示主机状态
显示奴隶状态
显示二进制日志

这对于连接器总是必需的。

在

标识开云体育电动老虎机权限应用的对象。

“用户”

指定了用户被授予权限的对象。

通过“密码”识别

指定了密码对于用户。

为Debezium启用MySQL binlog开云体育官方注册网址

MySQL复制必须启用二进制日志记录。二进制日志记录用于复制工具传播更改的事务更新。

先决条件

你必须有一个MySQL服务器。
你应该有适当的MySQL用户权限。

过程

检查是否log-bin选项已开启或未开启。

mysql> SELECT variable_value as "BINARY LOGGING STATUS (log-bin)::" FROM information_schemaWHERE variable_name='log_bin';

如果从，配置你的MySQL服务器配置文件如下:

看到Binlog配置属性每个财产的注释。

Server-id = 223344(1）Log_bin = mysql-bin（2）binlog_format = ROW（3）binlog_row_image = FULL（4）Expire_logs_days = 10（5）

再次检查binlog状态，确认您的更改。

mysql> SELECT variable_value as "BINARY LOGGING STATUS (log-bin)::" FROM information_schemaWHERE variable_name='log_bin';

Binlog配置属性

数量财产描述

服务器id

的值。服务器idMySQL集群中的每个服务器和复制客户端必须是唯一的。当安装MySQL连接器时，我们为连接器分配一个唯一的服务器ID。

log_bin

的价值log_binbinlog文件序列的基名称。

binlog_format

的binlog-format必须设置为行或行．

binlog_row_image

的binlog_row_image必须设置为完整的或完整的．

expire_logs_days

这是自动删除binlog文件的天数。默认为0这意味着不会自动移除。

将该值设置为与您的环境需求相匹配。

为Debezium启用MySQL全局事务标识符开云体育官方注册网址

全局事务标识符(gtid)唯一标识集群内服务器上发生的事务。虽然Debezium MySQL连接器不需要使用gtid开云体育官方注册网址，但使用gtid简化了复制，并允许您更容易地确认主服务器和复制服务器是否一致。

gtid仅在MySQL 5.6.5及更高版本中可用。看到MySQL文档欲知详情。

先决条件

你必须有一个MySQL服务器。
您必须了解基本的SQL命令。
您必须能够访问MySQL配置文件。

过程

启用gtid_mode：

mysql > gtid_mode =

启用enforce_gtid_consistency：

mysql > enforce_gtid_consistency =

确认更改:

mysql>显示全局变量“%GTID%”;

响应

+--------------------------+-------+ | Variable_name |值  | +--------------------------+-------+ | 上enforce_gtid_consistency | | | gtid_mode |  | +--------------------------+-------+

选项解释

许可/项目描述

gtid_mode

布尔值，用于指定MySQL服务器是否启用GTID模式。

在=启用
从=禁用

enforce_gtid_consistency

布尔值，指示服务器是否通过允许以事务安全方式登录的语句执行来强制GTID一致性;使用gtid时必需的。

在=启用
从=禁用

为Debezium设置会话超时开云体育官方注册网址

当为大型数据库创建初始一致快照时，您所建立的连接可能会在读取表时超时。开云体育电动老虎机可以通过配置来防止这种行为interactive_timeout而且wait_timeout在MySQL配置文件中。

先决条件

你必须有一个MySQL服务器。
您必须了解基本的SQL命令。
您必须能够访问MySQL配置文件。

过程

配置interactive_timeout：

mysql > interactive_timeout = < duration-in-seconds >

配置wait_timeout：

> . Mysql > wait_timeout=

选项解释

许可/项目描述

interactive_timeout

服务器在关闭交互连接之前等待交互连接活动的秒数。

看到MySQL的文档欲知详情。

wait_timeout

服务器在关闭非交互式连接之前等待其活动的秒数。

看到MySQL的文档欲知详情。

为Debezium启用查询日志事件开云体育官方注册网址

你可能想看看原版SQL语句用于每个binlog事件。使binlog_rows_query_log_eventsMySQL配置文件中的选项允许你这样做。

此选项仅在MySQL 5.6及更高版本中可用。

先决条件

你必须有一个MySQL服务器。
您必须了解基本的SQL命令。
您必须能够访问MySQL配置文件。

过程

启用binlog_rows_query_log_events：

mysql > binlog_rows_query_log_events =

选项解释

许可/项目描述

binlog_rows_query_log_events”

布尔值，启用/禁用对包含原始数据的支持SQL语句。

在=启用
从=禁用

部署MySQL连接器

MySQL连接器如何工作的概述
设置MySQL服务器
部署MySQL连接器
MySQL连接器常见问题

安装MySQL连接器

安装Debezium MySQ开云体育官方注册网址L连接器是一个简单的过程，你只需要下载JAR，将其解压缩到Kafka Connect环境中，并确保在Kafka Connect环境中指定了插件的父目录。

先决条件

你有动物园管理员，卡夫卡,卡夫卡连接安装。
您已经安装和设置了MySQL服务器。

过程

下载Debezium开云体育官方注册网址MySQL连接器插件．
将文件解压缩到Kafka Connect环境中。
将插件的父目录添加到Kafka Connect中plugin.path：

plugin.path = /卡夫卡/连接

上面的示例假设您已经将Debezium MySQL连接器提取到开云体育官方注册网址卡夫卡/ / debezium开云体育官方注册网址-connector-mysql连接路径。

重新启动Kafka Connect进程。这确保了拾取新的jar。

配置MySQL连接器

通常情况下，您可以在开云体育官方注册网址. json文件中使用连接器可用的配置属性。

先决条件

你应该已经完成了安装过程对于连接器。

过程

设置“名称”中的连接器的. json文件。
设置Debezium MySQL连接器所需的配置属性。开云体育官方注册网址

有关配置属性的完整列表，请参见MySQL连接器配置属性．

MySQL连接器示例配置

{"name": "inventory-connector"，(1）"config": {"connector.class": "io. 开云体育官方注册网址debezum .connector.mysql. mysqlconnector "，（2）“开云体育电动老虎机数据库。主机名”:“192.168.99.100”,（3）“开云体育电动老虎机数据库。港”:“3306”,（4）“开云体育电动老虎机数据库。用户": "debezium-user",（5）“开云体育电动老虎机数据库。密码": "debezium-user-pw",(6）“开云体育电动老虎机database.server。id”:“184054”,(7）:开云体育电动老虎机“database.server.name fullfillment”,（8）“开云体育电动老虎机database.include。列表”:“库存”,（9)“开云体育电动老虎机database.history.kafka.bootstrap。服务器”:“卡夫卡:9092”,（10）“开云体育电动老虎机database.history.kafka。来pic": "dbhistory.fullfillment",（11）“include.schema。变化”:“真正的”（12）}}

示例配置属性说明

在Kafka Connect服务中注册时的连接器名称。
连接器的类名。
MySQL服务器地址。
MySQL服务器端口号。
具有适当权限的MySQL用户。
MySQL用户的密码。
连接器的唯一ID。
MySQL服务器或集群的逻辑名称。
由指定服务器托管的所有数据库开云体育电动老虎机的列表。
连接器用来将DDL语句写入并恢复到数据库历史主题的Kafka代理列表。开云体育电动老虎机
数据库历史记录主题的名称。开云体育电动老虎机
指定连接器是否应在命名的模式更改主题上生成的标志实现具有DDL更改的事件，可以供使用者使用。

将MySQL连接器配置添加到Kafka Connect

要开始运行MySQL连接器，配置一个连接器并将配置添加到Kafka Connect集群中。

先决条件

MySQL服务器是为Debezium连接器设置的开云体育官方注册网址。
开云体育官方注册网址安装Debezium MySQL连接器。

过程

为MySQL连接器创建一个配置。
使用Kafka连接REST API将该连接器配置添加到Kafka Connect集群中。

结果

当连接器启动时，它将执行一致性快照配置连接器的MySQL数据开云体育电动老虎机库。然后连接器开始为行级操作生成数据更改事件，并将更改事件记录流式传输到Kafka主题。

MySQL连接器配置属性

这里列出的配置属性是要求运行Debezium 开云体育官方注册网址MySQL连接器。也有高级MySQL连接器属性它们的默认值很少需要更改，因此不需要在连接器配置中指定。

Debe开云体育官方注册网址zium MySQL连接器支持直通在创建Kafka生产者和消费者时配置。看到关于传递属性的信息在本节的末尾，还可以看到卡夫卡文档如欲了解更多有关直通属性。

财产默认的描述

的名字

连接器的唯一名称。尝试使用相同的名称再次注册将失败。(所有Kafka Connect连接器都需要这个属性。)

connector.class

连接器的Java类的名称。始终使用值io.开云体育官方注册网址debezium.connector.mysql.MySqlConnectorMySQL连接器。

tasks.max

1

应该为此连接器创建的最大任务数。MySQL连接器总是使用单个任务，因此不使用这个值，所以默认值总是可以接受的。

开云体育电动老虎机database.hostname

MySQL数据库服务器的IP地址或主机名。开云体育电动老虎机

开云体育电动老虎机database.port

3306

MySQL数据库服务器的整型端口号。开云体育电动老虎机

开云体育电动老虎机database.user

连接MySQL数据库服务器时使用的M开云体育电动老虎机ySQL数据库名称。

开云体育电动老虎机database.password

连接MySQL数据库服务器时使用的密码。开云体育电动老虎机

开云体育电动老虎机database.server.name

逻辑名称，用于标识并提供被监视的特定MySQL数据库服务器/集群的名称空间。开云体育电动老虎机逻辑名在所有其他连接器中应该是唯一的，因为它被用作从该连接器发出的所有Kafka主题名的前缀。只能使用字母数字字符和下划线。

开云体育电动老虎机database.server.id

随机

这个数据库客户端的数字ID，在MySQL集开云体育电动老虎机群中所有当前运行的数据库进程中必须是唯一的。这个连接器作为另一个服务器(使用这个唯一的ID)加入MySQL开云体育电动老虎机数据库集群，因此它可以读取binlog。默认情况下，生成一个介于5400和6400之间的随机数，尽管我们建议设置一个显式值。

开云体育电动老虎机database.history.kafka.topic

Kafka主题的全称，连接器将在其中存储数据库模式历史。开云体育电动老虎机

开云体育电动老虎机database.history.kafka.bootstrap.servers

一个主机/端口对列表，连接器将使用它建立到Kafka集群的初始连接。此连接将用于检索以前由连接器存储的数据库模式历史，并用于写入从源数据库读取的每个DDL语开云体育电动老虎机句。这应该指向Kafka Connect进程使用的相同的Kafka集群。

开云体育电动老虎机database.include.list

空字符串

一个可选的逗号分隔的正则表达式列表，匹配要监控的数据库名称;开云体育电动老虎机中未包含开云体育电动老虎机的任何数据库名称开云体育电动老虎机database.include.list将被排除在监测之外。默认情况下，将监视所有数据库。开云体育电动老虎机一定不能与开云体育电动老虎机database.exclude.list．

开云体育电动老虎机database.exclude.list

空字符串

可选的逗号分隔的正则表达式列表，匹配要排除在监视之外的数据库名称;开云体育电动老虎机中未包含开云体育电动老虎机的任何数据库名称开云体育电动老虎机database.exclude.list将受到监控。一定不能与开云体育电动老虎机database.include.list．

table.include.list

空字符串

一个可选的逗号分隔的正则表达式列表，它匹配要监控的表的完全限定表标识符;中未包含的任何表table.include.list将被排除在监测之外。每个标识符都是这样的开云体育电动老虎机数据库名．的表．默认情况下，连接器将监视每个被监视数据库中的每个非系统表。开云体育电动老虎机一定不能与table.exclude.list．

table.exclude.list

空字符串

一个可选的逗号分隔的正则表达式列表，它与要排除在监视之外的表的完全限定表标识符匹配;中未包含的任何表table.exclude.list将受到监控。每个标识符都是这样的开云体育电动老虎机数据库名．的表．一定不能与table.include.list．

column.exclude.list

空字符串

一个以逗号分隔的可选正则表达式列表，该列表与应从更改事件消息值中排除的列的完全限定名称匹配。列的完全限定名的格式为开云体育电动老虎机数据库名．的表．columnName．

column.include.list

空字符串

一个以逗号分隔的可选正则表达式列表，该列表与应包含在更改事件消息值中的列的完全限定名称匹配。列的完全限定名的格式为开云体育电动老虎机数据库名．的表．columnName．

column.truncate.to。长度.chars

N/A

一个以逗号分隔的可选正则表达式列表，它与基于字符的列的完全限定名匹配，如果字段值长于指定的字符数，则这些列的值应在更改事件消息值中被截断。可以在单个配置中使用具有不同长度的多个属性，尽管每个属性的长度必须为正整数。列的完全限定名的格式为开云体育电动老虎机数据库名．的表．columnName．

column.mask.with。长度.chars

N/A

一个以逗号分隔的可选正则表达式列表，该列表与基于字符的列的完全限定名称匹配，这些列的值应在更改事件消息值中被替换为由指定数量的星号(＊)字符。可以在单个配置中使用具有不同长度的多个属性，尽管每个属性的长度必须为正整数或零。列的完全限定名的格式为开云体育电动老虎机数据库名．的表．columnName．

column.mask.hash。hashAlgorithm.with.salt。盐

N/A

一个以逗号分隔的可选正则表达式列表，它匹配基于字符的列的完全限定名称，这些列的值应该是更改事件消息值中的假名，字段值由使用该算法的散列值组成hashAlgorithm和盐盐．基于所使用的哈希函数，在数据假名化的同时保持了引用完整性。中描述了支持的哈希函数MessageDigest节Java密码体系结构标准算法名称文档。哈希值自动缩短为列的长度。

可以在单个配置中使用具有不同长度的多个属性，尽管每个属性的长度必须为正整数或零。列的完全限定名的格式为开云体育电动老虎机数据库名．的表．columnName．

例子:

column.mask.hash.sha with.salt——256.。CzQMA0cB5K =库存。订单。customerName, inventory.shipment.customerName

在哪里CzQMA0cB5K是随机选择的盐。

注:取决于hashAlgorithm使用,盐所选数据集与实际数据集相匹配，得到的屏蔽数据集可能不能完全匿名化。

column.propagate.source.type

N/A

一个以逗号分隔的可选正则表达式列表，它与列的完全限定名称相匹配，这些列的原始类型和长度应该作为参数添加到发出的更改消息中的相应字段模式中。模式参数__开云体育官方注册网址Debezium.source.column.type，__开云体育官方注册网址Debezium.source.column.length而且_开云体育官方注册网址Debezium.source.column.scale将分别用于传播原始类型名称和长度(对于变宽类型)。对于接收器数据库中相应列的适当大小很有用。开云体育电动老虎机列的完全限定名的格式为开云体育电动老虎机数据库名．的表．columnName,或开云体育电动老虎机数据库名．schemaName．的表．columnName．

datatype.propagate.source.type

N/A

一个以逗号分隔的可选正则表达式列表，它与特定于数据库的数据类型名称相匹配，这些列的原始类型和长度应该作为参数添加到发出的更改消息中的相应字段模开云体育电动老虎机式中。模式参数__开云体育官方注册网址debezium.source.column.type，__开云体育官方注册网址debezium.source.column.length而且__开云体育官方注册网址debezium.source.column.scale将分别用于传播原始类型名称和长度(对于变宽类型)。对于接收器数据库中相应列的适当大小很有用。开云体育电动老虎机完全限定数据类型名称的格式为开云体育电动老虎机数据库名．的表．typeName,或开云体育电动老虎机数据库名．schemaName．的表．typeName．看到MySQL连接器如何映射数据类型查看mysql特定的数据类型名称列表。

time.precision.mode

adaptive_time_microseconds

时间、日期和时间戳可以用不同的精度表示，包括:adaptive_time_microseconds(默认值)根据数据库列的类型，使用毫秒、微秒或纳秒精度值捕获数据库中的日期、datetime和时间戳值，TIME类型字段除外，它总是以微秒为单位捕获;开云体育电动老虎机自适应(已弃用)根据数据库列的类型，使用毫秒、微秒或纳秒精度值捕获与数据库中完全相同的时间和时间戳值;开云体育电动老虎机或连接总是使用Kafka Connect内置的时间、日期和时间戳表示来表示时间和时间戳值，无论数据库列的精度如何，它都使用毫秒精度。开云体育电动老虎机

decimal.handling.mode

精确的

指定连接器应如何处理的值小数而且数字列:精确的(默认值)精确地表示它们使用java.math.BigDecimal变更事件中以二进制形式表示的值;或双表示它们使用双值，这可能会导致精度的损失，但将更容易使用。字符串选项将值编码为格式化的字符串，这很容易使用，但关于真实类型的语义信息会丢失。

bigint.unsigned.handling.mode

长

指定BIGINT UNSIGNED列应该如何在更改事件中表示，包括:精确的使用java.math.BigDecimal来表示值，这些值使用二进制表示和Kafka Connect的方式编码在更改事件中org.apache.kafka.connect.data.Decimal类型;长(默认值)表示使用Java的值长这种方法可能无法提供精准度，但消费者使用起来要容易得多。长通常是更可取的设置。仅当处理大于2^63的值时，精确的设置应该使用，因为这些值不能使用长．

include.schema.changes

真正的

布尔值，指定连接器是否应该将数据库模式中的更改发布到与数据库服务器ID同名的Kafka主题。开云体育电动老虎机每个模式更改将使用一个包含数据库名称的键记录，该键的值包括DDL语句。开云体育电动老虎机这与连接器内部记录数据库历史的方式无关。开云体育电动老虎机默认为真正的．

include.query

假

布尔值，该值指定连接器是否应包括生成更改事件的原始SQL查询。
注意:该选项要求MySQL将binlog_rows_query_log_events选项设置为ON。查询将不会显示快照进程生成的事件。
警告:启用此选项可能会暴露通过在更改事件中包含原始SQL语句而显式排除或隐藏的表或字段。因此，该选项默认为“false”。

event.processing.failure.handling.mode

失败

指定连接器在反序列化binlog事件期间应对异常的方式。失败将传播异常(指示有问题的事件及其binlog偏移量)，导致连接器停止。
警告将导致跳过有问题的事件，并记录有问题的事件及其binlog偏移量。
跳过会引起问题的事件将被跳过。

inconsistent.schema.handling.mode

失败

指定连接器应该如何响应与表相关的binlog事件，这些事件不存在于内部模式表示中(即内部表示与数据库不一致)开云体育电动老虎机失败将抛出异常(指示有问题的事件及其binlog偏移量)，导致连接器停止。
警告将导致跳过有问题的事件，并记录有问题的事件及其binlog偏移量。
跳过将导致跳过有问题的事件。

max.queue.size

8192

正整数值，指定阻塞队列的最大大小，从数据库日志中读取的更改事件在写入Kafka之前被放置在其中。开云体育电动老虎机例如，当写入Kafka较慢或Kafka不可用时，该队列可以为binlog阅读器提供反压力。出现在队列中的事件不包括在此连接器定期记录的偏移量中。属性中指定的最大批处理大小，默认值为8192max.batch.size财产。

max.batch.size

2048

正整数值，指定在此连接器的每次迭代期间应处理的每批事件的最大大小。默认为2048年。

poll.interval.ms

1000

正整数值，指定连接器在每次迭代期间等待新更改事件出现的毫秒数。缺省值为1000毫秒，即1秒。

connect.timeout.ms

30000

一个正整数值，指定连接器在尝试连接到MySQL数据库服务器后超时前应该等待的最大时间(以毫秒为单位)。开云体育电动老虎机默认为30秒。

gtid.source.includes

一个用逗号分隔的正则表达式列表，它匹配GTID集中的源uuid，用于查找MySQL服务器中的binlog位置。只有源匹配其中一个包含模式的GTID范围才会被使用。一定不能与gtid.source.excludes．

gtid.source.excludes

一个用逗号分隔的正则表达式列表，它匹配GTID集中的源uuid，用于查找MySQL服务器中的binlog位置。只有源不匹配这些排除模式的GTID范围才会被使用。一定不能与gtid.source.includes．

gtid.new.channel.position
已弃用并计划删除

最早的

当设置为最新的，当连接器看到一个新的GTID通道时，它将从该GTID通道中最后执行的事务开始消费。如果设置为最早的(默认)，连接器从第一个可用的(未清除的)GTID位置开始读取该通道。最早的当你有一个主-被动MySQL设置，Debezium连接到主服务器时，在这种情况下，在故障转移期间，具有新UUID(和G开云体育官方注册网址TID通道)的副本在Debezium连接之前开始接收写。这些写操作在使用时会丢失最新的．

tombstones.on.delete

真正的

控制是否在删除事件之后生成墓碑事件。
当真正的删除操作由删除事件和后续的墓碑事件表示。当假只发送一个删除事件。
触发墓碑事件(默认行为)允许Kafka在源记录被删除后完全删除与给定键相关的所有事件。

message.key.columns

空字符串

与完全限定的表和列匹配以映射主键的正则表达式的分号列表。
每个项(正则表达式)必须匹配<完全限定表>:<逗号分隔的列列表>表示自定义键。
完全限定表可以定义为开云体育电动老虎机数据库名．的表．

binary.handling.mode

字节

指定二进制(团，二进制，varbinary等)列应在变更事件中表示，包括:字节表示二进制数据为字节数组(默认)，base64表示二进制数据为base64编码的字符串，十六进制表示二进制数据为十六进制编码(base16)字符串

高级MySQL连接器属性

下表描述了高级MySQL连接器属性．

财产默认的描述

connect.keep.alive

真正的

一个布尔值，指定是否应该使用一个单独的线程来确保与MySQL服务器/集群的连接保持活跃。

table.ignore.builtin

真正的

布尔值，指定是否应忽略内置系统表。无论表是包含列表还是排除列表，这都适用。默认情况下，系统表被排除在监视之外，当对任何系统表进行更改时，不会生成任何事件。

开云体育电动老虎机database.history.kafka.recovery.poll.interval.ms

One hundred.

一个整数值，指定连接器在启动/恢复期间轮询持久数据时应等待的最大毫秒数。默认值是100ms。

开云体育电动老虎机database.history.kafka.recovery.attempts

4

在连接器恢复失败并发生错误之前，连接器应尝试读取持久历史数据的最大次数。接收不到数据后等待的最大时间为recovery.attemptsxrecovery.poll.interval.ms．

开云体育电动老虎机database.history.skip.unparseable.ddl

假

布尔值，指定连接器是否应忽略格式错误或未知的数据库语句，或停止处理并让操作员修复问题。开云体育电动老虎机安全默认值为假．在处理binlog时，应该小心使用跳过，因为它可能导致数据丢失或损坏。

开云体育电动老虎机database.history.store.only.monitored.tables.ddl

假

布尔值，指定连接器是否应该记录所有DDL语句或(当真正的)只有那些与Debezium监视的表相关的(通过过滤器配置)。开云体育官方注册网址安全默认值为假．使用此特性时应格外小心，因为更改过滤器时可能需要丢失数据。

开云体育电动老虎机database.ssl.mode

禁用

指定是否使用加密连接。默认为禁用，并指定使用未加密的连接。

的首选选项将在服务器支持安全连接时建立加密连接，否则将退回到未加密连接。

的要求选项建立加密连接，但如果由于任何原因无法建立连接，则会失败。

的verify_ca选项表现为要求但是另外，它会根据配置的证书颁发机构(CA)证书验证服务器TLS证书，如果它不匹配任何有效的CA证书，则会失败。

的verify_identity选项表现为verify_ca但是还要验证服务器证书是否与远程连接的主机相匹配。

binlog.buffer.size

binlog读取器使用的预读缓冲区的大小。
在特定的条件下，MySQL binlog可能包含未提交的数据回滚声明。典型的例子是在单个事务中使用保存点或混合临时和常规的表更改。
当检测到事务的开始时，Debezium尝试前滚binlog位置并找到其中任何一个开云体育官方注册网址提交或回滚因此，它可以决定是否将来自事务的更改流化。缓冲区的大小定义了Debezium在搜索事务边界时可以缓冲的事务更改的最大数量。开云体育官方注册网址如果事务的大小大于缓冲区，则Debezium需要在流处理时倒带并重新读取缓冲区中不适合的事件。开云体育官方注册网址价值0禁用缓冲。
默认禁用。
注意:这个特性应该被认为是一个正在孵化的特性。我们需要客户的反馈，但预计它不是完全抛光。

snapshot.mode

最初的

指定在连接器启动时运行快照的条件。默认为最初的，并指定只有在没有为逻辑服务器名记录偏移量时连接器才能运行快照。的when_needed选项指定连接器在启动时运行一个快照，只要它认为有必要(当没有可用的偏移量，或者当以前记录的偏移量指定一个binlog位置或GTID在服务器中不可用时)。的从来没有选项指定连接永远不应该使用快照，并且在第一次启动时使用逻辑服务器名，连接器应该从binlog的开头读取;这应该小心使用，因为只有当binlog保证包含数据库的整个历史时，它才有效。开云体育电动老虎机如果不需要主题包含数据的一致快照，而只需要它们具有自连接器启动以来的更改，则可以使用schema_only选项，其中连接器仅快照模式(而不是数据)。

schema_only_recovery是现有连接器的恢复选项，用于恢复损坏或丢失的数据库历史主题，或定期“清理”可能意外增长的数据库历史主题(需要无限保留)。开云体育电动老虎机

snapshot.locking.mode

最小的

控制连接器在执行快照时是否保持全局MySQL读锁(防止对数据库的任何更新)以及保持多长时间。开云体育电动老虎机有三个可能的值最小的，扩展,没有一个．

最小的当连接器读取数据库模式和其他元数据时，连接器仅为快照的初始部分持有全局读锁。开云体育电动老虎机快照中的其余工作包括从每个表中选择所有行，即使不再持有全局读锁并且其他MySQL客户端正在更新数据库，也可以使用REPEATABLE READ事务以一致的方式完成这一工作。开云体育电动老虎机

minimal_percona连接器固定全局备份锁在连接器读取数据库模式和其他元数据时，仅用于快照的初始部分。开云体育电动老虎机快照中的其余工作包括从每个表中选择所有行，即使不再持有全局读锁并且其他MySQL客户端正在更新数据库，也可以使用REPEATABLE READ事务以一致的方式完成这一工作。开云体育电动老虎机此模式不会将表刷新到磁盘，也不会被长时间的读取阻塞，并且仅在Percona Server中可用

扩展在某些情况下，客户端正在提交MySQL从REPEATABLE READ语义中排除的操作，可能需要在快照的整个持续时间内阻塞所有写操作。对于这些情况，请使用此选项。

没有一个将防止连接器在快照过程中获取任何表锁。此值可用于所有快照模式，但如果和使用该值是安全的只有如果在拍摄快照时没有发生模式更改。注意，对于用MyISAM引擎定义的表，尽管设置了这个属性，当MyISAM获取表锁时，表仍然是锁定的。这种行为与InnoDB引擎不同，InnoDB引擎需要行级锁。

snapshot.select.statement.overrides

控制快照中将包括表中的哪些行。
此属性包含以逗号分隔的全限定表列表(DB_NAME.TABLE_NAME)．在进一步的配置属性中为各个表指定选择语句，每个表一个，由id标识snapshot.select.statement.overrides。[DB_NAME] [TABLE_NAME]。．这些属性的值是在快照期间从特定表检索数据时使用的SELECT语句。对于大型只能追加的表，一个可能的用例是设置一个特定的开始(恢复)快照的点，以防之前的快照被中断。
请注意:仅对快照有影响。从binlog捕获的事件完全不受它的影响。

min.row.count.to.stream.results

1000

在快照操作期间，连接器将查询每个包含的表，以便为该表中的所有行产生读取事件。这个参数决定MySQL连接是否将一个表的所有结果拉入内存(这很快，但需要大量内存)，还是将结果流化(可能较慢，但适用于非常大的表)。该值指定在连接器将结果流传输之前表必须包含的最小行数，默认为1,000。将此参数设置为“0”将跳过所有表大小检查，并在快照期间始终流所有结果。

heartbeat.interval.ms

0

控制心跳消息的发送频率。
此属性包含以毫秒为单位的间隔，该间隔定义连接器向心跳主题发送心跳消息的频率。将此参数设置为0完全不发送心跳消息。
默认禁用。

heartbeat.topics.prefix

__开云体育官方注册网址debezium-heartbeat

控制要向其发送心跳消息的主题的命名。
主题根据模式命名< heartbeat.topics.prefix >。< server.name >．

开云体育电动老虎机database.initial.statements

当建立到数据库的JDBC连接(不是事务日志读取连接)时，将执行的SQL语句的分号列表。开云体育电动老虎机使用双分号(';;')将分号用作字符而不是分隔符。
注意:连接器可以根据自己的判断建立JDBC连接，因此这通常只用于配置会话参数，而不是用于执行DML语句。

snapshot.delay.ms

连接器启动后在快照之前应该等待的间隔(以毫秒为单位);
可用于在启动集群中的多个连接器时避免快照中断，这可能导致连接器的重新平衡。

snapshot.fetch.size

指定在进行快照时应一次性从每个表读取的最大行数。连接器将以这个大小的多个批次读取表内容。

snapshot.lock.timeout.ms

10000

正整数值，指定在执行快照时等待获得表锁的最大时间(以毫秒为单位)。如果在此时间间隔内无法获取表锁，则快照将失败。看到MySQL连接器如何执行数据库快照开云体育电动老虎机．

enable.time.adjuster

MySQL允许用户插入2位或4位的年份值。如果是两位数字，值将自动映射到1970 - 2069范围。这通常由数据库完成。开云体育电动老虎机
设置为真正的(默认值)当Debezium应该做转换开云体育官方注册网址。
设置为假当转换完全委托给数据库时。开云体育电动老虎机

source.struct.version

的架构版本源Debezium事开云体育官方注册网址件中的块;开云体育官方注册网址Debezium 0.10引入了一些突破
的结构的更改源块，以便在所有连接器之间统一暴露的结构。
通过将此选项设置为v1可以生成早期版本中使用的结构。注意，不建议使用这种设置，并计划在未来的Debezium版本中删除。开云体育官方注册网址

sanitize.field.names

真正的连接器配置显式指定key.converter或value.converter参数使用Avro，否则默认为假．

是否对字段名进行消毒以符合Avro命名要求。

skipped.operations

以逗号分隔的oplog操作列表，将在流处理期间跳过。操作包括:c插入,u查阅最新资料，以及d删除。缺省情况下，不跳过任何操作。

直通配置属性

MySQL连接器也支持直通配置属性在创建Kafka生产者和消费者时使用。属性开头的所有连接器配置属性开云体育电动老虎机database.history.producer。在创建写入数据库历史的Kafka生成器时使用前缀(不带前缀)。开云体育电动老虎机所有以前缀开头的属性开云体育电动老虎机database.history.consumer。在创建Kafka消费者时使用(没有前缀)，在连接器启动时读取数据库历史。开云体育电动老虎机

例如，下面的连接器配置属性可以用来保护Kafka代理的连接:

开云体育电动老虎机database.history.producer.security。协议SSL databas开云体育电动老虎机e.history.producer.ssl.keystore.location = = / var /私人/ SSL / kafka.server.keystore。jks 开云体育电动老虎机database.history.producer.ssl.keystore。密码=test1234 database.history.producer.ssl.truststore.location=/var/private/ssl/kafka.server.truststore.jks database.history.producer.ssl.truststore.password=test1234 database.history.producer.ssl.key.password=test1234 database.history.consumer.security.protocol=SSL database.history.consumer.ssl.keystore.location=/var/private/ssl/kafka.server.keystore.jks database.history.consumer.ssl.keystore.password=test1234 database.history.consumer.ssl.truststore.location=/var/private/ssl/kafka.server.truststore.jks database.history.consumer.ssl.truststore.password=test1234 database.history.consumer.ssl.key.password=test1234

数据库驱动程序的传递属性开云体育电动老虎机

除了Kafka生产者和消费者的传递属性之外，还有数据库驱动程序的传递属性开云体育电动老虎机．这些属性具有开云体育电动老虎机数据库。前缀。例如,开云体育电动老虎机database.tinyInt1isBit = false传递给JDBC URL。

MySQL连接器监控指标

除了Zo开云体育官方注册网址okeeper、Kafka和Kafka Connect内置的对JMX指标的支持外，Debezium MySQL连接器还有三种指标类型。

快照指标；用于在执行快照时监控连接器
binlog指标；用于在读取CDC表数据时监视连接器
架构历史度量；用于监视连接器的模式历史记录的状态

请参阅监控文档了解如何通过JMX公开这些指标的详细信息。

快照指标

的MBean是开云体育官方注册网址debezium.mysql: type = connector-metrics上下文=快照,server开云体育电动老虎机 = < database.server.name >．

属性类型描述

LastEvent

字符串

连接器读取的最后一个快照事件。

MilliSecondsSinceLastEvent

长

自连接器读取并处理最近事件以来的毫秒数。

TotalNumberOfEventsSeen

长

自上次启动或重置以来，此连接器已看到的事件总数。

NumberOfEventsFiltered

长

已由连接器上配置的包含/排除列表筛选规则筛选的事件数。

MonitoredTables

string []

连接器监视的表的列表。

QueueTotalCapacity

int

用于在快照和主Kafka Connect循环之间传递事件的队列长度。

QueueRemainingCapacity

int

用于在快照和主Kafka Connect循环之间传递事件的队列的空闲容量。

TotalTableCount

int

快照中包含的表的总数。

RemainingTableCount

int

快照尚未复制的表数。

SnapshotRunning

布尔

快照是否启动。

SnapshotAborted

布尔

快照是否中止。

SnapshotCompleted

布尔

快照是否完成。

SnapshotDurationInSeconds

长

快照到目前为止所花费的总秒数，即使没有完成。

RowsScanned

Map < String,长>

映射，其中包含为快照中的每个表扫描的行数。在处理期间将表增量地添加到Map中。每扫描10,000行并在完成一个表时更新一次。

Debe开云体育官方注册网址zium MySQL连接器还提供了以下自定义快照度量:

属性类型描述

HoldingGlobalLock

布尔

连接器当前是否持有全局或表写锁。

Binlog指标

的MBean是开云体育官方注册网址debezium.mysql: type = connector-metrics、上下文= binlo开云体育电动老虎机g服务器= < database.server.name >．

只有启用binlog事件缓冲时，与事务相关的属性才可用。看到binlog.buffer.size在高级连接器配置属性中获取更多详细信息。

属性类型描述

LastEvent

字符串

连接器读取的最后一个流事件。

MilliSecondsSinceLastEvent

长

自连接器读取并处理最近事件以来的毫秒数。

TotalNumberOfEventsSeen

长

自上次启动或重置以来，此连接器已看到的事件总数。

NumberOfEventsFiltered

长

已由连接器上配置的包含/排除列表筛选规则筛选的事件数。

MonitoredTables

string []

连接器监视的表的列表。

QueueTotalCapacity

int

用于在streamer和主Kafka Connect循环之间传递事件的队列长度。

QueueRemainingCapacity

int

用于在streamer和主Kafka Connect循环之间传递事件的队列的空闲容量。

连接

布尔

标志，该标志表示连接器当前是否连接到数据库服务器。开云体育电动老虎机

MilliSecondsBehindSource

长

从最后一个更改事件的时间戳到连接器处理它之间的毫秒数。这些值将包含运行数据库服务器和连接器的机器上的时钟之间的任何差异。开云体育电动老虎机

NumberOfCommittedTransactions

长

提交的已处理事务的数量。

SourceEventPosition

Map < String, String >

上次接收事件的坐标。

LastTransactionId

字符串

最后处理的事务的事务标识符。

Debe开云体育官方注册网址zium MySQL连接器还提供了以下自定义binlog指标:

属性类型描述

BinlogFilename

字符串

连接器最近读取的binlog文件名的名称。

BinlogPosition

长

连接器已读取的binlog中的最近位置(以字节为单位)。

IsGtidModeEnabled

布尔

标志，表示连接器当前是否跟踪来自MySQL服务器的gtid。

GtidSet

字符串

连接器在读取binlog时看到的最新GTID集的字符串表示形式。

NumberOfSkippedEvents

长

MySQL连接器跳过的事件数。通常情况下，由于MySQL binlog中的错误或无法解析的事件，事件会被跳过。

NumberOfDisconnects

长

MySQL连接器断开连接的次数。

NumberOfRolledBackTransactions

长

回滚且未流化的已处理事务的数量。

NumberOfNotWellFormedTransactions

长

未符合预期协议的事务数开始+提交/回滚．应该是0在正常情况下。

NumberOfLargeTransactions

长

未放入前瞻性缓冲区的事务数。应该明显小于NumberOfCommittedTransactions而且NumberOfRolledBackTransactions为了获得最佳性能。

架构历史度量

的MBean是开云体育官方注册网址debezium.mysql: type = connector-metrics、上下文= schema-histor开云体育电动老虎机y服务器= < database.server.name >．

属性类型描述

状态

字符串

之一停止，恢复(从存储中恢复历史)，运行描述数据库历史记录的状态。开云体育电动老虎机

RecoveryStartTime

长

恢复开始的时间(以epoch秒为单位)。

ChangesRecovered

长

在恢复阶段读取的更改数。

ChangesApplied

长

在恢复和运行时应用的模式更改的总数。

MilliSecondsSinceLastRecoveredChange

长

自上次更改从历史存储区恢复以来所经过的毫秒数。

MilliSecondsSinceLastAppliedChange

长

自应用最后一次更改以来所经过的毫秒数。

LastRecoveredChange

字符串

从历史存储中恢复的最后一次更改的字符串表示形式。

LastAppliedChange

字符串

最后应用的更改的字符串表示形式。

MySQL连接器常见问题

MySQL连接器如何工作的概述
设置MySQL服务器
部署MySQL连接器
MySQL连接器常见问题

配置和启动错误

Debe开云体育官方注册网址zium MySQL连接器失败，报告错误，并在以下启动错误时停止运行:

连接器的配置无效。
连接器无法使用指定的连接参数连接到MySQL服务器。
连接器试图在binlog中MySQL不再有可用历史的位置重新启动。

如果您收到这些错误中的任何一个，您将在错误消息中收到更多详细信息。错误消息还包含可能的变通方法。

MySQL不可用

如果您的MySQL服务器变得不可用，Debezium MySQL连接器将失败并报错，连接器将开云体育官方注册网址停止。您只需要在服务器可用时重新启动连接器。

使用GTIDs

如果您启用了gtid，并且有一个高可用的MySQL集群，请立即重新启动连接器，因为连接器将连接到集群中的另一个MySQL服务器，在服务器的binlog中找到代表最后一个事务的位置，并开始从该特定位置读取新服务器的binlog。

不使用gtid

如果没有启用gtid，连接器只记录它所连接到的MySQL服务器的binlog位置。为了从正确的binlog位置重新启动，必须重新连接到特定的服务器。

Kafka连接停止

当Kafka Connect停止时，有三种情况会导致一些问题:

Kafka Connect优雅地停止
Kafka连接进程崩溃
Kafka不可用

Kafka Connect优雅地停止

当Kafka Connect优雅地停止时，当Debezium MySQL连接器任务停止并在新的Kafka Connect进程上重新启动时，只有很短的延开云体育官方注册网址迟。

Kafka连接进程崩溃

如果Kafka Connect崩溃，进程将停止，任何Debezium MySQL连接器任务将终止，而不会开云体育官方注册网址记录它们最近处理的偏移量。在分布式模式下，Kafka Connect重启其他进程上的连接器任务。但是，MySQL连接器从前面进程记录的最后一个偏移量开始恢复。这意味着替换任务可能会生成一些在崩溃之前处理过的相同事件，从而创建重复的事件。

每个更改事件消息包括以下特定于源的信息:

事件起源
MySQL服务器的事件时间
binlog文件名称和位置
gtid(如果使用)

Kafka不可用

Kafka Connect框架使用Kafka生产者API记录Kafka中开云体育官方注册网址的Debezium更改事件。如果Kafka代理变得不可用，Debezium MySQL连接器将暂停，直到重新建立连接，开云体育官方注册网址并从它上次停止的地方恢复。

MySQL清除binlog文件

如果Debez开云体育官方注册网址ium MySQL连接器停止太长时间，MySQL服务器会清除旧的binlog文件，连接器的最后一个位置可能会丢失。当连接器重新启动时，MySQL服务器不再拥有起点，连接器执行另一个初始快照。如果快照被禁用，连接器将失败并报错。

看到MySQL连接器如何执行数据库快照开云体育电动老虎机有关初始快照的详细信息。