开云体育官方注册网址Debezium MySQL连接器
MySQL有一个二进制日志(binlog),它按照提交到数据库的顺序记录所有操作。开云体育电动老虎机这包括对表模式和表内数据的更改。MySQL使用binlog进行复制和恢复。
Debe开云体育官方注册网址zium MySQL连接器读取binlog并为行级生成更改事件插入
,更新
,删除
在Kafka主题中记录更改事件。客户端应用程序读取这些Kafka主题。
由于MySQL通常设置为在指定的一段时间后清除二进制日志,因此MySQL连接器执行并初始化一致的快照您的每个数据库。开云体育电动老虎机MySQL连接器从创建快照的位置读取binlog。
下面几节提供了关于Debezium MySQL连接器如何工作的更详细信息,指导您如何设置它,以及如何部署和排除连接器故障。开云体育官方注册网址
MySQL连接器如何工作的概述
Debe开云体育官方注册网址zium MySQL连接器跟踪表的结构,执行快照,将binlog事件转换为Debezium更改事件,并记录这些事件在Kafka中记录的位置。
MySQL连接器如何使用数据库模式开云体育电动老虎机
当数据库客户端开云体育电动老虎机查询数据库时,客户端使用数据库的当前模式。但是,数据库模式可以在任何开云体育电动老虎机时候更改,这意味着连接器必须能够识别记录每个插入、更新或删除操作时的模式。此外,连接器不能只使用当前模式,因为连接器可能正在处理相对较旧的事件,并且可能在表的模式更改之前就已经记录了这些事件。
为了处理这个问题,MySQL在binlog中包含了对数据的行级更改和应用到数据库的DDL语句。开云体育电动老虎机当连接器读取binlog并遇到这些DDL语句时,它会解析它们并更新每个表的模式的内存表示。连接器使用这种模式表示在每次插入、更新或删除时识别表的结构,并产生适当的更改事件。在一个单独的数据库历史Kaf开云体育电动老虎机ka主题中,连接器还记录了所有DDL语句以及每个DDL语句在binlog中的出现位置。
当连接器在崩溃或正常停止后重新启动时,连接器开始从特定位置(即从特定时间点)读取binlog。连接器通过读取数据库历史Kafka主题并解析所有DDL语句,直到连接器开始的binlog点,从而重新构建此时存在的表结构。开云体育电动老虎机
此数据库历开云体育电动老虎机史记录主题仅供连接器使用。连接器可以有选择地在针对使用者应用程序的不同主题上生成模式更改事件。这在MySQL连接器如何暴露模式更改。
当MySQL连接器捕获表中的更改时,模式更改工具(如gh-ost
或pt-online-schema-change
则在迁移过程中创建的帮助表需要包含在白名单表中。
如果下游系统不需要临时表生成的消息,那么可以编写并应用一个简单的消息转换来过滤掉它们。
有关主题命名约定的信息,请参见MySQL连接器和Kafka主题。
MySQL连接器如何执行数据库快照开云体育电动老虎机
当您的Debeziu开云体育官方注册网址m MySQL连接器第一次启动时,它执行初始化一致的快照你的数据库。开云体育电动老虎机下面的流程描述了快照是如何完成的。
这是默认的快照模式,设置为最初的 在snapshot.mode 财产。有关其他快照模式,请参阅MySQL连接器配置属性。 |
- 连接器…
一步 | 行动 | ||
---|---|---|---|
|
抓住一个全局读锁那块写通过其他数据库客户开云体育电动老虎机端。
|
||
|
使用可重复读语义来确保事务中的所有后续读取都是针对一致的快照。 |
||
|
读取当前binlog的位置。 |
||
|
读取连接器配置允许的数据库和表的模式。开云体育电动老虎机 |
||
|
释放全局读锁。这现在允许其他数据库客户端写入数据库。开云体育电动老虎机 |
||
|
将DDL更改写入模式更改主题,包括所有必要的更改
|
||
|
扫描数据库表并生成开云体育电动老虎机 |
||
|
提交事务。 |
||
|
在连接器偏移量中记录完成的快照。 |
如果连接器失效会发生什么?
时,如果连接器失效、停止或重新平衡初始快照,连接器将在重新启动后创建一个新的快照。一旦开始快照完成后,Debezium MySQL开云体育官方注册网址连接器将从binlog中的相同位置重新启动,因此它不会错过任何更新。
如果连接器停止的时间足够长,MySQL就会清除旧的binlog文件,连接器的位置就会丢失。如果位置丢失,连接器将恢复到初始快照它的起始位置。有关Debezium MySQL连接器故障排除的更多技巧,请参见开云体育官方注册网址MySQL连接器常见问题。 |
如果不允许全局读锁怎么办?
某些环境不允许全局读锁。如果Debez开云体育官方注册网址ium MySQL连接器检测到不允许全局读锁,则连接器使用表级锁,并使用此方法执行快照。
用户必须有LOCK_TABLES 特权。 |
- 连接器…
一步 | 行动 | ||
---|---|---|---|
|
使用可重复读语义来确保事务中的所有后续读取都是针对一致的快照。 |
||
|
读取并过滤数据库和表的名称。开云体育电动老虎机 |
||
|
读取当前binlog的位置。 |
||
|
读取连接器配置允许的数据库和表的模式。开云体育电动老虎机 |
||
|
将DDL更改写入模式更改主题,包括所有必要的更改
|
||
|
扫描数据库表并生成开云体育电动老虎机 |
||
|
提交事务。 |
||
|
释放表级锁。 |
||
|
在连接器偏移量中记录完成的快照。 |
MySQL连接器如何暴露模式更改
您可以配置Debezium开云体育官方注册网址MySQL连接器生成模式更改事件,其中包括应用于MySQL服务器中的数据库的所有DDL语句。开云体育电动老虎机连接器将所有这些事件写入一个名为< serverName >
在哪里serverName
连接器名称是否与开云体育电动老虎机database.server.name
配置属性。
如果你选择使用架构更改事件,使用模式更改主题和不使用数据库历史记录主题。开云体育电动老虎机 |
数据库模式历史中事件的全局顺序是至关重要的。开云体育电动老虎机因此,不能对数据库历史主题进行开云体育电动老虎机分区。这意味着在创建此主题时必须指定分区计数为1。当依赖于自动主题创建时,确保Kafka的num.partitions 配置选项(默认分区数)设置为1 。 |
架构更改主题结构
写入模式更改主题的每个消息都包含一个消息键,其中包含应用DDL语句时使用的连接数据库的名称:开云体育电动老虎机
{"schema": {"type": "struct", "name": "io. d开云体育官方注册网址ebezum .connector.mysql. schemachangekey ", "optional": false, "fields": [{"开云体育电动老虎机field": "databaseName", "type": "string", "optional": false}]}, "payload": {"databaseName": "inventory"}}
架构更改事件消息值包含一个结构,该结构包括DDL语句、语句应用到的数据库以及语句在binlog中的位置:开云体育电动老虎机
{"模式":{“类型”:“结构”、“名称”:“io.debezium.connector开云体育官方注册网址.mysql.SchemaChangeValue”、“可选”:假的,“字段”:[{“字段”:“数据库名”、“类型”:“弦”、“可选”:假},{”字段”:“d开云体育电动老虎机dl”、“类型”:“弦”、“可选”:假},{”字段”:“源”、“类型”:“结构”、“名称”:“io.debezium.connector.mysql.Source”、“可选”:假的,“字段”:[{“类型”:“弦”、“可选”:真的,“场”:“版本”},{“类型”:“弦”、“可选”:假的,“场”:“name”},{“类型”:“int64”、“可选”:假的,“场”:“server_id”},{“类型”:“int64”、“可选”:假的,“场”:“ts_sec”},{“类型”:“弦”、“可选”:真的,“场”:“gtid”},{“类型”:“弦”、“可选”:假的,“场”:“文件”},{“类型”:“int64”、“可选”:假的,“场”:“pos”},{“类型”:“int32”、“可选”:假的,“场”:“行”},{“类型”:“布尔”、“可选”:真的,“默认”:假的,“场”:“快照”},{“类型”:“int64”、“可选”:真的,“场”:“线程”},{“类型”:"string", "optional": true, "field": "db"}, {"type": "string", "optional": true, "field": "table"}, {"type": "string", "optional": true, "field": "query"}]}]}, "payload": {"databaseNa开云体育电动老虎机me": "inventory", "ddl": "CREATE table products (id INTEGER NOT NULL AUTO_INCREMENT PRIMARY KEY, name VARCHAR(255) NOT NULL, description VARCHAR(512), weight FLOAT);ALTER TABLE products AUTO_INCREMENT = 101;", "source": {"version": "0.10.0. "Beta4”、“名称”:“mysql-server-1”、“server_id”:0,”ts_sec”:0,”gtid”:空,“文件”:“mysql-bin。000003.", "pos": 154, "row": 0, "snapshot": true, "thread": null, "db": null, "table": null, "query": null } } }
关于模式更改主题的重要提示
的ddl
field可能包含多个DDL语句。中的每个语句都应用于数据库开云体育电动老虎机开云体育电动老虎机数据库名
字段,并以与在数据库中应用时相同的顺序显示。开云体育电动老虎机的源
字段的结构完全是写入特定于表的主题的标准数据更改事件。此字段用于关联不同主题的事件。
…"payload": {"d开云体育电动老虎机atabaseName": "inventory", "ddl": "CREATE TABLE products (id INTEGER NOT NULL AUTO_INCREMENT PRIMARY KEY,…“来源”:{....}} ....
- 如果客户端将DDL语句提交给多个数据库开云体育电动老虎机?
-
如果MySQL原子地应用这些DDL语句,连接器将按顺序获取DDL语句,按数据库对它们进行分组,并为每个组创建一个模式更改事件。开云体育电动老虎机
如果MySQL分别应用它们,连接器将为每条语句创建一个单独的模式更改事件。
如果您不使用架构更改主题详情在这里,查看开云体育电动老虎机数据库历史主题。
MySQL连接器事件
Debe开云体育官方注册网址zium MySQL连接器为每个行级生成一个数据更改事件插入
,更新
,删除
操作。每个事件包含一个键和一个值。键和值的结构取决于所更改的表。
开云体育官方注册网址Debezium和Kafka Connect就是围绕这个设计的连续的事件消息流。但是,这些事件的结构可能会随着时间的推移而改变,这对消费者来说可能很难处理。为了解决这个问题,每个事件都包含其内容的模式,或者,如果使用模式注册中心,则包含消费者可以用来从注册中心获取模式的模式ID。这使得每个事件都是自包含的。
下面的JSON骨架显示了变更事件的四个基本部分。然而,你如何配置你选择在你的应用程序中使用的Kafka Connect转换器,决定了这四个部分在变更事件中的表示。一个模式
字段仅在配置转换器以产生该字段时才处于更改事件中。同样,事件键和事件有效负载只有在配置转换器以产生它时才位于更改事件中。如果你使用JSON转换器,并配置它来生成所有四个基本的变更事件部分,则变更事件具有以下结构:
{"schema": {(1)…}, "有效载荷":{(2)…}, "schema": {(3)…}, "有效载荷":{(4)…}},
项 | 字段名 | 描述 |
---|---|---|
1 |
|
第一个 |
2 |
|
第一个 |
3. |
|
第二个 |
4 |
|
第二个 |
默认情况下,连接器流将事件记录更改为主题,其名称与事件的原始表相同。看到MySQL连接器和Kafka主题。
MySQL连接器确保所有Kafka Connect模式名称都遵循Avro模式名称格式。这意味着逻辑服务器名必须以拉丁字母或下划线开头,即a-z、a-z或_。逻辑服务器名中的每个剩余字符以及数据库名和表名中的每个字符必须是拉丁字母、数字或下划线,即a-z、a-z、0-9或\_。开云体育电动老虎机如果存在无效字符,则将其替换为下划线字符。 如果逻辑服务器名、数据库名或表名包含无效字符,并且区分名称之间的唯一字符无效,因此用下划线替换,则可能导致意外冲突。开云体育电动老虎机 |
更改事件键
更改事件的键包含已更改表的键和已更改行的实际键的模式。模式及其对应的有效负载都为更改后的表的每一列包含一个字段主键
(或唯一约束)在连接器创建事件时。
考虑以下几点客户
表,后面是此表的更改事件键的示例。
CREATE TABLE customers (id INTEGER NOT NULL AUTO_INCREMENT PRIMARY KEY, first_name VARCHAR(255) NOT NULL, last_name VARCHAR(255) NOT NULL, email VARCHAR(255) NOT NULL UNIQUE KEY) AUTO_INCREMENT=1001;
对象的更改的每个更改事件客户
表具有相同的事件键模式。只要客户
表具有前面的定义,则捕获对的更改的每个更改事件客户
表的键结构如下。在JSON中,它看起来是这样的:
{"schema": {(1)"type": "struct", "name": "mysql-server-1.inventory.customers.Key",(2)“可选”:假的,(3)“字段”:[(4){“字段”:“id”,“类型”:“int32”,“可选”:假}},“有效载荷”:{(5)"id": 1001}}
项 | 字段名 | 描述 |
---|---|---|
1 |
|
密钥的模式部分指定了一个Kafka Connect模式,该模式描述了密钥中的内容 |
2 |
|
定义键的有效负载结构的模式的名称。此模式描述已更改表的主键的结构。关键模式名具有该格式connector-name。开云体育电动老虎机数据库名称。表名。
|
3. |
|
指示事件键是否必须在其中包含值 |
4 |
|
属性中期望的每个字段 |
5 |
|
包含为其生成此更改事件的行的键。在本例中,键包含一个单键 |
更改事件值
change事件中的值比键稍微复杂一些。和键一样,值也有模式
Section和a有效载荷
部分。的模式
类的模式信封
的结构有效载荷
节,包括其嵌套字段。用于创建、更新或删除数据的操作的更改事件都具有具有信封结构的值有效负载。
考虑用于显示更改事件键示例的同一个示例表:
CREATE TABLE customers (id INTEGER NOT NULL AUTO_INCREMENT PRIMARY KEY, first_name VARCHAR(255) NOT NULL, last_name VARCHAR(255) NOT NULL, email VARCHAR(255) NOT NULL UNIQUE KEY) AUTO_INCREMENT=1001;
更改此表的更改事件的值部分针对每种事件类型进行了描述:
创建事件
对象中创建数据的操作所生成的更改事件的值部分,示例如下客户
表:
{"schema": {(1)"type": "struct", "fields": [{"type": "int32", "optional": false, "field": "id"}, {"type": "string", "optional": false, "field": "first_name"}, {"type": "string", "optional": false, "field": "last_name"}, {"type": "string", "optional": false, "field": "email"}], "optional": true, "name": "mysql-server-1.inventory.customers.Value",(2)"field": "before"}, {"type": "struct", "fields": [{"type": "int32", "optional": false, "field": "id"}, {"type": "string", "optional": false, "field": "last_name"}, {"type": "string", "optional": false, "field": "email"}], "optional": true, "name": "mysql-server-1.inventory.customers "。价值", "field": "after" }, { "type": "struct", "fields": [ { "type": "string", "optional": false, "field": "version" }, { "type": "string", "optional": false, "field": "connector" }, { "type": "string", "optional": false, "field": "name" }, { "type": "int64", "optional": false, "field": "ts_sec" }, { "type": "boolean", "optional": true, "default": false, "field": "snapshot" }, { "type": "string", "optional": false, "field": "db" }, { "type": "string", "optional": true, "field": "table" }, { "type": "int64", "optional": false, "field": "server_id" }, { "type": "string", "optional": true, "field": "gtid" }, { "type": "string", "optional": false, "field": "file" }, { "type": "int64", "optional": false, "field": "pos" }, { "type": "int32", "optional": false, "field": "row" }, { "type": "int64", "optional": true, "field": "thread" }, { "type": "string", "optional": true, "field": "query" } ], "optional": false, "name": "io.debezium.connector.mysql.Source",(3)"field": "source"}, {"type": "string", "optional": false, "field": "op"}, {"type": "int64", "optional": true, "field": "ts_ms"}], "optional": false, "name": "mysql-server-1.inventory. clients . envelope "(4)}, "有效载荷":{(5)“人事处”:“c”,(6)“ts_ms”:1465491411815,(7)“之前”:空,(8)"后":{(9)"id": 1004, "first_name": Anne", "last_name": Kretchmar", "email": "annek@noanswer.org"}, "source": {(10)“版本”:“1.2.5。Final", "connector": "mysql", "name": "mysql-server-1", "ts_sec": 0, "snapshot": false, "db": "inventory", "table": "customers", "server_id": 0, "gtid": null, "file": "mysql-bin "。000003", "pos": 154, "row": 0, "thread": 7, "query": "INSERT INTO customers (first_name, last_name, email) VALUES ('Anne', 'Kretchmar', 'annek@noanswer.org')"}}}
项 | 字段名 | 描述 |
---|---|---|
1 |
|
值的模式,它描述值的有效负载的结构。连接器为特定表生成的每个更改事件中,更改事件的值模式都是相同的。 |
2 |
|
在 |
3. |
|
|
4 |
|
|
5 |
|
该值为实际数据。这是变更事件提供的信息。 |
6 |
|
返回string,描述导致连接器产生事件的操作类型。在这个例子中,
|
7 |
|
可选字段,显示连接器处理事件的时间。该时间基于运行Kafka Connect任务的JVM中的系统时钟。 |
8 |
|
可选字段,指定事件发生之前行的状态。当 |
9 |
|
可选字段,指定事件发生后行的状态。在本例中, |
10 |
|
描述事件的源元数据的必填字段。此字段包含可用于将此事件与其他事件进行比较的信息,包括事件的起源、事件发生的顺序以及事件是否是同一事务的一部分。源元数据包括:
如果 |
更新事件
样例中更新的更改事件的值客户
表的模式与创建事件。同样,事件值的有效负载具有相同的结构。事件值有效负载中包含不同的值更新事件。中的更新中连接器生成的事件中的更改事件值的示例客户
表:
{"schema":{…}, "payload": {"before": {(1)“id”:1004年,“first_name”:“安妮”,“last_name”:“Kretchmar”、“电子邮件”:“annek@noanswer.org”},“后”:{(2)"id": 1004, "first_name": "Anne Marie", "last_name": "Kretchmar", "email": "annek@noanswer.org"}, "source": {(3)“版本”:“1.2.5。Final", "name": "mysql-server-1", "connector": "mysql", "name": "mysql-server-1", "ts_sec": 1465581, "snapshot": false, "db": "inventory", "table": "customers", "server_id": 223344, "gtid": null, "file": "mysql-bin "。000003", "pos": 484, "row": 0, "thread": 7, "query": "UPDATE customers SET first_name='Anne Marie' WHERE id=1004"}, "op": "u",(4)"ts_ms": 1465581029523}}
项 | 字段名 | 描述 |
---|---|---|
1 |
|
可选字段,指定事件发生之前行的状态。在一个更新事件值,则 |
2 |
|
可选字段,指定事件发生后行的状态。你可以比较 |
3. |
|
描述事件的源元数据的必填字段。的
如果 |
4 |
|
返回string,描述操作类型。在一个更新事件值,则 |
更新一行的主键/唯一键的列将更改该行键的值。当一个键改变时,Debezium输出开云体育官方注册网址三个事件: |
主键更新
一个更新
更改行的主键字段的操作称为主键更改。对于主键更改,替换为更新
事件记录时,连接器发出删除
事件记录的旧键和创建
新的(更新的)键的事件记录。这些事件具有通常的结构和内容,此外,每个事件都有一个与主键更改相关的消息头:
的
删除
事件记录有__开云体育官方注册网址debezium.newkey
作为消息头。此标头的值是更新行的新主键。的
创建
事件记录有__开云体育官方注册网址debezium.oldkey
作为消息头。此标头的值是已更新行的前一个(旧的)主键。
删除事件
的值删除改变事件有相同之处模式
部分为创建和更新同一表的事件。的有效载荷
的一部分删除事件。客户
表是这样的:
{"schema":{…}, "payload": {"before": {(1)"id": 1004, "first_name": "Anne Marie", "last_name": "Kretchmar", "email": "annek@noanswer.org"}, "after": null,(2)“源”:{(3)“版本”:“1.2.5。Final", "connector": "mysql", "name": "mysql-server-1", "ts_sec": 1465581, "snapshot": false, "db": "inventory", "table": "customers", "server_id": 223344, "gtid": null, "file": "mysql-bin "。000003", "pos": 805, "row": 0, "thread": 7, "query": "DELETE FROM customers WHERE id=1004"}, "op": "d",(4)“ts_ms”:1465581902461(5)}}
项 | 字段名 | 描述 |
---|---|---|
1 |
|
可选字段,指定事件发生之前行的状态。在一个删除事件值,则 |
2 |
|
可选字段,指定事件发生后行的状态。在一个删除事件值,则 |
3. |
|
描述事件的源元数据的必填字段。在一个删除事件值,则
如果 |
4 |
|
返回string,描述操作类型。的 |
5 |
|
可选字段,显示连接器处理事件的时间。该时间基于运行Kafka Connect任务的JVM中的系统时钟。 |
一个删除更改事件记录为使用者提供了处理删除该行所需的信息。包含旧值是因为一些使用者可能需要它们来正确处理删除。
MySQL连接器事件设计用于工作Kafka对数压缩。日志压缩允许删除一些较旧的消息,只要每个键至少保留最近的消息。这让Kafka回收存储空间,同时确保主题包含一个完整的数据集,并可用于重新加载基于键的状态。
删除一行时,删除event值仍然适用于日志压缩,因为Kafka可以删除所有具有相同键的早期消息。然而,Kafka要删除所有具有相同键的消息,消息值必须为零
。为了实现这一点,在Debezium的MySQL连接器发出一开云体育官方注册网址个删除事件时,连接器发出一个特殊的墓碑事件,该事件具有相同的键,但具有零
价值。
MySQL连接器如何映射数据类型
Debe开云体育官方注册网址zium MySQL连接器用事件表示行更改,事件的结构类似于行所在的表。该事件为每个列值包含一个字段。该列的MySQL数据类型决定了该值在事件中的表示方式。
存储字符串的列在MySQL中使用字符集和排序规则定义。MySQL连接器在binlog事件中读取列值的二进制表示时使用列的字符集。下表显示了连接器如何将MySQL数据类型映射到两者文字和语义类型。
文字类型:如何使用Kafka Connect模式类型来表示值
语义类型: Kafka Connect模式如何捕获字段的含义(模式名)
MySQL类型 | 文字类型 | 语义类型 | ||
---|---|---|---|---|
|
|
N/A |
||
|
|
N/A |
||
|
|
示例(其中n为位)
numBytes = n/8 + (n%8== 0 ?0: 1) |
||
|
|
N/A |
||
|
|
N/A |
||
|
|
N/A |
||
|
|
N/A |
||
|
|
N/A |
||
|
|
N/A |
||
|
|
N/A |
||
|
|
N/A |
||
|
|
N/A |
||
|
|
N/A |
||
|
|
N/A 原始字节(默认值)、base64编码的字符串或十六进制编码的字符串二进制处理模式设置 |
||
|
|
N/A 原始字节(默认值)、base64编码的字符串或十六进制编码的字符串二进制处理模式设置 |
||
|
|
N/A 原始字节(默认值)、base64编码的字符串或十六进制编码的字符串二进制处理模式设置 |
||
|
|
N/A |
||
|
|
N/A 原始字节(默认值)、base64编码的字符串或十六进制编码的字符串二进制处理模式设置 |
||
|
|
N/A |
||
|
|
N/A 原始字节(默认值)、base64编码的字符串或十六进制编码的字符串二进制处理模式设置 |
||
|
|
N/A |
||
|
|
N/A 原始字节(默认值)、base64编码的字符串或十六进制编码的字符串二进制处理模式设置 |
||
|
|
N/A |
||
|
|
|
||
|
|
|
||
|
|
|
||
|
|
|
||
|
|
|
时间值
不包括时间戳
的值,MySQL的时态类型取决于time.precision.mode
配置属性。为时间戳
列的默认值指定为CURRENT_TIMESTAMP
或现在
,值1970-01-01就是
是Kafka Connect模式的默认值。
MySQL允许为零值日期,日期时间
,时间戳
列,因为零值有时比空值更可取。当列定义允许空值时,MySQL连接器将零值表示为空值,当列不允许空值时,则将零值表示为历元日。
的DATETIME
Type表示本地日期和时间,例如“2018-01-13 09:48:27”。如您所见,这里没有时区信息。这些列将使用UTC根据列的精度转换为历元毫秒或微秒。的时间戳
type表示一个没有时区信息的时间戳,MySQL在写入时将服务器(或会话的)当前时区转换为UTC,在读取值时则相反。例如:
DATETIME
值为2018-06-20 06:37:03
就变成了1529476623000
。时间戳
值为2018-06-20 06:37:03
就变成了2018 - 06 - 20 - t13:37:03z
。
这些列被转换为等效的列io.开云体育官方注册网址debezium.time.ZonedTimestamp
基于服务器(或会话)当前时区的UTC格式。默认从服务器上查询时区。方法显式指定开云体育电动老虎机database.serverTimezone
连接器配置属性。例如,如果数据库的时区(全局的或为连接器开云体育电动老虎机配置的)开云体育电动老虎机database.serverTimezoneproperty
)表示“America/Los_Angeles”,则TIMESTAMP值“2018-06-20 06:37:03”用ZonedTimestamp
值为“2018-06-20T13:37:03Z”。
注意,运行Kafka Connect和Debezium的JVM的时区不会影响这些转换。开云体育官方注册网址
的文档中有有关术语值的属性的详细信息MySQL连接器配置属性。
- time.precision.mode = adaptive_time_microseconds(默认)
-
MySQL连接器根据列的数据类型定义确定文字类型和语义类型,以便事件准确地表示数据库中的值。开云体育电动老虎机所有时间字段都以微秒为单位。只有积极的
时间
范围内的字段值00:00:00.000000
来23:59:59.999999
可以正确捕获。MySQL类型 文字类型 语义类型 日期
INT32
io.开云体育官方注册网址debezium.time.Date
表示自epoch以来的天数。 ((M))
INT64
io.开云体育官方注册网址debezium.time.MicroTime
表示以微秒为单位的时间值,不包括时区信息。MySQL允许 米
在…的范围内0 - 6
。Datetime, Datetime (0), Datetime (1), Datetime (2), Datetime (3)
INT64
io.开云体育官方注册网址debezium.time.Timestamp
表示过去纪元的毫秒数,不包括时区信息。 Datetime (4), Datetime (5), Datetime (6)
INT64
io.开云体育官方注册网址debezium.time.MicroTimestamp
表示经过epoch的微秒数,不包括时区信息。 - time.precision.mode =连接
-
MySQL连接器使用预定义的Kafka Connect逻辑类型。此方法不如默认方法精确,如果数据库列具有开云体育电动老虎机分数秒精度值大于
3.
。范围内的值00:00:00.000
来23:59:59.999
可以处理。集time.precision.mode =连接
只有你能保证时间
表中的值永远不会超过支持的范围。的连接
设置有望在Debezium的未来版本中被删除。开云体育官方注册网址MySQL类型 文字类型 语义类型 日期
INT32
org.apache.kafka.connect.data.Date
表示自epoch以来的天数。 ((M))
INT64
org.apache.kafka.connect.data.Time
表示自午夜以来的时间值(以微秒为单位),不包括时区信息。 DATETIME ((M))
INT64
org.apache.kafka.connect.data.Timestamp
表示自epoch以来的毫秒数,不包括时区信息。
十进制值
方法处理小数decimal.handling.mode
财产。
看到MySQL连接器配置属性欲知详情。 |
- decimal.handling.mode =精确
-
MySQL类型 文字类型 语义类型 数字((M [D]))
字节
org.apache.kafka.connect.data.Decimal
的 规模
模式参数包含一个整数,表示小数点移位了多少位。小数((M [D]))
字节
org.apache.kafka.connect.data.Decimal
的 规模
模式参数包含一个整数,表示小数点移位了多少位。 - decimal.handling.mode =双
-
MySQL类型 文字类型 语义类型 数字((M [D]))
FLOAT64
N/A
小数((M [D]))
FLOAT64
N/A
- decimal.handling.mode =字符串
-
MySQL类型 文字类型 语义类型 数字((M [D]))
字符串
N/A
小数((M [D]))
字符串
N/A
布尔值
MySQL处理布尔
以特定的方式进行内部价值评估。的布尔
列在内部映射到非常小的整数(1)
数据类型。当在流期间创建表时,它使用proper布尔
当Debezium接收开云体育官方注册网址到原始DDL时映射。在快照期间Debezium执行开云体育官方注册网址显示创建表
获取返回的表定义非常小的整数(1)
对于这两个布尔
和非常小的整数(1)
列。
开云体育官方注册网址Debezium则没有办法获得原始类型映射并将其映射到非常小的整数(1)
。操作员可以配置开箱即用自定义转换器TinyIntOneToBooleanConverter
这将映射所有非常小的整数(1)
列布尔
或者,如果选择器
参数,则可以使用逗号分隔的正则表达式枚举列的子集。
一个示例配置是
converters=boolean boolean.type=io.开云体育官方注册网址debezium.connector.mysql.converters.TinyIntOneToBooleanConverter boolean.selector=db1.table1。*, db1.table2.column1
空间数据类型
目前,Debezium MyS开云体育官方注册网址QL连接器支持以下空间数据类型:
MySQL类型 | 文字类型 | 语义类型 | ||
---|---|---|---|---|
|
|
|
MySQL连接器和Kafka主题
Debe开云体育官方注册网址zium MySQL连接器为所有人写入事件插入
,更新
,删除
从一个表到一个Kafka主题的操作。Kafka主题命名约定如下:
serverName.开云体育电动老虎机databaseName.tableName
我们假设实现
服务器名和库存
是包含的数据库开云体育电动老虎机吗三个表的订单
,客户
,产品
。Debe开云体育官方注册网址zium MySQL连接器在三个Kafka主题上产生事件,分别对应数据库中的每个表:开云体育电动老虎机
履行。库存。订单履行。库存。客户履行。库存。产品
MySQL支持的拓扑
Debe开云体育官方注册网址zium MySQL连接器支持以下MySQL拓扑:
- 独立的
-
当使用单个MySQL服务器时,服务器必须启用binlog (并可选地启用gtid),这样Debez开云体育官方注册网址ium MySQL连接器就可以监视服务器。这通常是可以接受的,因为二进制日志也可以用作增量日志备份。在这种情况下,MySQL连接器总是连接并跟随这个独立的MySQL服务器实例。
- 主人和奴隶
-
Debe开云体育官方注册网址zium MySQL连接器可以跟随一个主服务器或一个从服务器(如果该slave已启用binlog),但是连接器只能看到对该服务器可见的集群中的更改。通常,除了多主机拓扑,这不是问题。
连接器记录其在服务器binlog中的位置,该位置在集群中的每个服务器上都是不同的。因此,连接器只需要跟随一个MySQL服务器实例。如果该服务器发生故障,则必须重新启动或恢复服务器,然后连接器才能继续。
- 高可用集群
-
各种各样的高可用性MySQL的解决方案是存在的,它们使它更容易容忍和几乎立即从问题和失败中恢复。大多数HA MySQL集群使用gtid,以便从服务器能够跟踪任何主服务器上的所有更改。
- 多主机
-
一个多主MySQL拓扑使用一个或多个MySQL从服务器,每个从服务器从多个主服务器复制。这是聚合多个MySQL集群复制的强大方法,需要使用gtid。
Debe开云体育官方注册网址zium MySQL连接器可以使用这些多主MySQL slave作为源,并且可以故障转移到不同的多主MySQL slave,只要新slave赶上旧slave (例如,新的slave拥有最后一次在第一个slave上看到的所有事务)。即使连接器只使用数据库和/或表的一个子集,这也可以工作,因为当试图重新连接到一个新的多主MySQL从服务器并在binl开云体育电动老虎机og中找到正确的位置时,连接器可以配置为包括或排除特定的GTID源。
- 主持
-
Debezium MySQL连接器支持使用托管选项开云体育官方注册网址,如Amazon RDS和Amazon Aurora。
因为这些托管选项不允许全局读锁,表级锁用于创建一致的快照。
设置MySQL服务器
为Debezium创建MySQL用户开云体育官方注册网址
您必须定义一个对Debezium MySQL连接器监视的所有数据库具有适当权限的MySQL用户。开云体育官方注册网址开云体育电动老虎机
你必须有一个MySQL服务器。
您必须了解基本的SQL命令。
创建MySQL用户:
mysql> CREATE USER ' USER '@'localhost' IDENTIFIED BY 'password'
授予用户所需的权限:
mysql>授权选择,重新加载,显示数据库,复制从,复制客户端上*。开云体育电动老虎机*以“密码”识别的“用户”;
看到权限的解释对于每个权限的注释。 |
如果使用托管选项,如Amazon RDS或Amazon Aurora,则不允许全局读锁,表级锁用于创建一致的快照。在这种情况下,您还需要授予LOCK_TABLES 您所创建的用户的权限。看到MySQL连接器如何工作的概述欲知详情。 |
确定用户权限:
mysql> FLUSH PRIVILEGES;
权限的解释
许可/项目 | 描述 | ||
---|---|---|---|
|
允许连接器从数据库中的表中选择行开云体育电动老虎机
|
||
|
使连接器能够使用
|
||
|
命令使连接器可以查看数据库名称开云体育电动老虎机
|
||
|
允许连接器连接和读取MySQL服务器的binlog。 |
||
|
允许连接器使用以下语句:
|
||
|
标识开云体育电动老虎机权限应用的对象。 |
||
|
指定了用户被授予权限的对象。 |
||
|
指定了密码对于用户。 |
为Debezium启用MySQL binlog开云体育官方注册网址
MySQL复制必须启用二进制日志记录。二进制日志记录用于复制工具传播更改的事务更新。
你必须有一个MySQL服务器。
你应该有适当的MySQL用户权限。
检查是否
log-bin
选项已开启或未开启。
mysql> SELECT variable_value as "BINARY LOGGING STATUS (log-bin)::" FROM information_schemaWHERE variable_name='log_bin';
如果
从
,配置你的MySQL服务器配置文件如下:
看到Binlog配置属性每个财产的注释。 |
Server-id = 223344(1)Log_bin = mysql-bin(2)binlog_format = ROW(3)binlog_row_image = FULL(4)Expire_logs_days = 10(5)
再次检查binlog状态,确认您的更改。
mysql> SELECT variable_value as "BINARY LOGGING STATUS (log-bin)::" FROM information_schemaWHERE variable_name='log_bin';
为Debezium启用MySQL全局事务标识符开云体育官方注册网址
全局事务标识符(gtid)唯一标识集群内服务器上发生的事务。虽然Debezium MySQL连接器不需要使用gtid开云体育官方注册网址,但使用gtid简化了复制,并允许您更容易地确认主服务器和从服务器是否一致。
gtid仅在MySQL 5.6.5及更高版本中可用。看到MySQL文档欲知详情。 |
你必须有一个MySQL服务器。
您必须了解基本的SQL命令。
您必须能够访问MySQL配置文件。
启用
gtid_mode
:
mysql > gtid_mode =
启用
enforce_gtid_consistency
:
mysql > enforce_gtid_consistency =
确认更改:
mysql>显示全局变量“%GTID%”;
+--------------------------+-------+ | Variable_name |值 | +--------------------------+-------+ | 上enforce_gtid_consistency | | | gtid_mode | | +--------------------------+-------+
为Debezium设置会话超时开云体育官方注册网址
当为大型数据库创建初始一致快照时,您所建立的连接可能会在读取表时超时。开云体育电动老虎机可以通过配置来防止这种行为interactive_timeout
和wait_timeout
在MySQL配置文件中。
你必须有一个MySQL服务器。
您必须了解基本的SQL命令。
您必须能够访问MySQL配置文件。
配置
interactive_timeout
:
mysql > interactive_timeout = < duration-in-seconds >
配置
wait_timeout
:
> . Mysql > wait_timeout=
部署MySQL连接器
安装MySQL连接器
安装Debezium MySQ开云体育官方注册网址L连接器是一个简单的过程,你只需要下载JAR,将其解压缩到Kafka Connect环境中,并确保在Kafka Connect环境中指定了插件的父目录。
下载Debezium开云体育官方注册网址MySQL连接器插件。
将文件解压缩到Kafka Connect环境中。
将插件的父目录添加到Kafka Connect中
plugin.path
:
plugin.path = /卡夫卡/连接
上面的示例假设您已经将Debezium MySQL连接器提取到开云体育官方注册网址卡夫卡/ / debezium开云体育官方注册网址-connector-mysql连接 路径。 |
重新启动Kafka Connect进程。这确保了拾取新的jar。
配置MySQL连接器
通常情况下,您可以在开云体育官方注册网址. json
文件中使用连接器可用的配置属性。
你应该已经完成了安装过程对于连接器。
设置
“名称”
中的连接器的. json
文件。设置Debezium MySQL连接器所需的配置属性。开云体育官方注册网址
有关配置属性的完整列表,请参见MySQL连接器配置属性。 |
{"name": "inventory-connector",(1)"config": {"connector.class": "io. 开云体育官方注册网址debezum .connector.mysql. mysqlconnector ",(2)“开云体育电动老虎机数据库。主机名”:“192.168.99.100”,(3)“开云体育电动老虎机数据库。港”:“3306”,(4)“开云体育电动老虎机数据库。用户": "debezium-user",(5)“开云体育电动老虎机数据库。密码": "debezium-user-pw",(6)“开云体育电动老虎机database.server。id”:“184054”,(7):开云体育电动老虎机“database.server.name fullfillment”,(8)“开云体育电动老虎机数据库。白名单”:“库存”,(9)“开云体育电动老虎机database.history.kafka.bootstrap。服务器”:“卡夫卡:9092”,(10)“开云体育电动老虎机database.history.kafka。来pic": "dbhistory.fullfillment",(11)“include.schema。变化”:“真正的”(12)}}
将MySQL连接器配置添加到Kafka Connect
要开始运行MySQL连接器,配置一个连接器并将配置添加到Kafka Connect集群中。
MySQL服务器是为Debezium连接器设置的开云体育官方注册网址。
开云体育官方注册网址安装Debezium MySQL连接器。
为MySQL连接器创建一个配置。
使用Kafka连接REST API将该连接器配置添加到Kafka Connect集群中。
当连接器启动时,它将执行一致性快照配置连接器的MySQL数据开云体育电动老虎机库。然后连接器开始为行级操作生成数据更改事件,并将更改事件记录流式传输到Kafka主题。
MySQL连接器配置属性
这里列出的配置属性是要求运行Debezium 开云体育官方注册网址MySQL连接器。也有高级MySQL连接器属性它们的默认值很少需要更改,因此不需要在连接器配置中指定。
财产 | 默认的 | 描述 |
---|---|---|
连接器的唯一名称。尝试使用相同的名称再次注册将失败。(所有Kafka Connect连接器都需要这个属性。) |
||
连接器的Java类的名称。始终使用值 |
||
|
应该为此连接器创建的最大任务数。MySQL连接器总是使用单个任务,因此不使用这个值,所以默认值总是可以接受的。 |
|
MySQL数据库服务器的IP地址或主机名。开云体育电动老虎机 |
||
|
MySQL数据库服务器的整型端口号。开云体育电动老虎机 |
|
连接MySQL数据库服务器时使用的M开云体育电动老虎机ySQL数据库名称。 |
||
连接MySQL数据库服务器时使用的密码。开云体育电动老虎机 |
||
逻辑名称,用于标识并提供被监视的特定MySQL数据库服务器/集群的名称空间。开云体育电动老虎机逻辑名在所有其他连接器中应该是唯一的,因为它被用作从该连接器发出的所有Kafka主题名的前缀。只能使用字母数字字符和下划线。 |
||
随机 |
这个数据库客户端的数字ID,在MySQL集开云体育电动老虎机群中所有当前运行的数据库进程中必须是唯一的。这个连接器作为另一个服务器(使用这个唯一的ID)加入MySQL开云体育电动老虎机数据库集群,因此它可以读取binlog。默认情况下,生成一个介于5400和6400之间的随机数,尽管我们建议设置一个显式值。 |
|
Kafka主题的全称,连接器将在其中存储数据库模式历史。开云体育电动老虎机 |
||
一个主机/端口对列表,连接器将使用它建立到Kafka集群的初始连接。此连接将用于检索以前由连接器存储的数据库模式历史,并用于写入从源数据库读取的每个DDL语开云体育电动老虎机句。这应该指向Kafka Connect进程使用的相同的Kafka集群。 |
||
空字符串 |
一个可选的逗号分隔的正则表达式列表,匹配要监控的数据库名称;开云体育电动老虎机任何未包开云体育电动老虎机含在白名单中的数据库名称都将被排除在监视之外。默认情况下,将监视所有数据库。开云体育电动老虎机不得与 |
|
空字符串 |
可选的逗号分隔的正则表达式列表,匹配要排除在监视之外的数据库名称;开云体育电动老虎机任何未包开云体育电动老虎机含在黑名单中的数据库名称都将被监控。不得与 |
|
空字符串 |
一个可选的逗号分隔的正则表达式列表,它匹配要监控的表的完全限定表标识符;任何不在白名单中的表都将被排除在监控之外。每个标识符都是这样的开云体育电动老虎机数据库名。的表。默认情况下,连接器将监视每个被监视数据库中的每个非系统表。开云体育电动老虎机不得与 |
|
空字符串 |
一个可选的逗号分隔的正则表达式列表,它与要排除在监视之外的表的完全限定表标识符匹配;任何不在黑名单中的表都将被监控。每个标识符都是这样的开云体育电动老虎机数据库名。的表。不得与 |
|
空字符串 |
一个以逗号分隔的可选正则表达式列表,该列表与应从更改事件消息值中排除的列的完全限定名称匹配。列的完全限定名的格式为开云体育电动老虎机数据库名。的表。columnName,或开云体育电动老虎机数据库名。schemaName。的表。columnName。 |
|
N/A |
一个以逗号分隔的可选正则表达式列表,它与基于字符的列的完全限定名匹配,如果字段值长于指定的字符数,则这些列的值应在更改事件消息值中被截断。可以在单个配置中使用具有不同长度的多个属性,尽管每个属性的长度必须为正整数。列的完全限定名的格式为开云体育电动老虎机数据库名。的表。columnName。 |
|
N/A |
一个以逗号分隔的可选正则表达式列表,该列表与基于字符的列的完全限定名称匹配,这些列的值应在更改事件消息值中被替换为由指定数量的星号( |
|
N/A |
一个以逗号分隔的可选正则表达式列表,它匹配基于字符的列的完全限定名称,这些列的值应该是更改事件消息值中的假名,字段值由使用该算法的散列值组成 可以在单个配置中使用具有不同长度的多个属性,尽管每个属性的长度必须为正整数或零。列的完全限定名的格式为开云体育电动老虎机数据库名。的表。columnName。 例子: column.mask.hash.sha with.salt——256.。CzQMA0cB5K =库存。订单。customerName, inventory.shipment.customerName 在哪里 注:取决于 |
|
N/A |
一个以逗号分隔的可选正则表达式列表,它与列的完全限定名称相匹配,这些列的原始类型和长度应该作为参数添加到发出的更改消息中的相应字段模式中。模式参数 |
|
N/A |
一个以逗号分隔的可选正则表达式列表,它与特定于数据库的数据类型名称相匹配,这些列的原始类型和长度应该作为参数添加到发出的更改消息中的相应字段模开云体育电动老虎机式中。模式参数 |
|
|
时间、日期和时间戳可以用不同的精度表示,包括: |
|
|
指定连接器应如何处理的值 |
|
|
指定BIGINT UNSIGNED列应该如何在更改事件中表示,包括: |
|
|
布尔值,指定连接器是否应该将数据库模式中的更改发布到与数据库服务器ID同名的Kafka主题。开云体育电动老虎机每个模式更改将使用一个包含数据库名称的键记录,该键的值包括DDL语句。开云体育电动老虎机这与连接器内部记录数据库历史的方式无关。开云体育电动老虎机默认为 |
|
|
布尔值,该值指定连接器是否应包括生成更改事件的原始SQL查询。 |
|
|
指定连接器在反序列化binlog事件期间应对异常的方式。 |
|
|
指定连接器应该如何响应与表相关的binlog事件,这些事件不存在于内部模式表示中(即内部表示与数据库不一致)开云体育电动老虎机 |
|
|
正整数值,指定阻塞队列的最大大小,从数据库日志中读取的更改事件在写入Kafka之前被放置在其中。开云体育电动老虎机例如,当写入Kafka较慢或Kafka不可用时,该队列可以为binlog阅读器提供反压力。出现在队列中的事件不包括在此连接器定期记录的偏移量中。属性中指定的最大批处理大小,默认值为8192 |
|
|
正整数值,指定在此连接器的每次迭代期间应处理的每批事件的最大大小。默认为2048年。 |
|
|
正整数值,指定连接器在每次迭代期间等待新更改事件出现的毫秒数。缺省值为1000毫秒,即1秒。 |
|
|
一个正整数值,指定连接器在尝试连接到MySQL数据库服务器后超时前应该等待的最大时间(以毫秒为单位)。开云体育电动老虎机默认为30秒。 |
|
一个用逗号分隔的正则表达式列表,它匹配GTID集中的源uuid,用于查找MySQL服务器中的binlog位置。只有源匹配其中一个包含模式的GTID范围才会被使用。不得与 |
||
一个用逗号分隔的正则表达式列表,它匹配GTID集中的源uuid,用于查找MySQL服务器中的binlog位置。只有源不匹配这些排除模式的GTID范围才会被使用。不得与 |
||
|
|
当设置为 |
|
控制是否在删除事件之后生成墓碑事件。 |
|
空字符串 |
与完全限定的表和列匹配以映射主键的正则表达式的分号列表。 |
|
字节 |
指定二进制( |
高级MySQL连接器属性
下表描述了高级MySQL连接器属性。
财产 | 默认的 | 描述 |
---|---|---|
|
一个布尔值,指定是否应该使用一个单独的线程来确保与MySQL服务器/集群的连接保持活跃。 |
|
|
布尔值,指定是否应忽略内置系统表。无论表是白名单还是黑名单,这都适用。默认情况下,系统表被排除在监视之外,当对任何系统表进行更改时,不会生成任何事件。 |
|
|
一个整数值,指定连接器在启动/恢复期间轮询持久数据时应等待的最大毫秒数。默认值是100ms。 |
|
|
在连接器恢复失败并发生错误之前,连接器应尝试读取持久历史数据的最大次数。接收不到数据后等待的最大时间为 |
|
|
布尔值,指定连接器是否应忽略格式错误或未知的数据库语句,或停止处理并让操作员修复问题。开云体育电动老虎机安全默认值为 |
|
|
布尔值,指定连接器是否应该记录所有DDL语句或(当 |
|
|
指定是否使用加密连接。默认为 的 的 的 的 |
|
0 |
binlog读取器使用的预读缓冲区的大小。 |
|
|
指定在连接器启动时运行快照的条件。默认为
|
|
|
控制连接器在执行快照时是否保持全局MySQL读锁(防止对数据库的任何更新)以及保持多长时间。开云体育电动老虎机有三个可能的值
|
|
控制快照中将包括表中的哪些行。 |
||
|
在快照操作期间,连接器将查询每个包含的表,以便为该表中的所有行产生读取事件。这个参数决定MySQL连接是否将一个表的所有结果拉入内存(这很快,但需要大量内存),还是将结果流化(可能较慢,但适用于非常大的表)。该值指定在连接器将结果流传输之前表必须包含的最小行数,默认为1,000。将此参数设置为“0”将跳过所有表大小检查,并在快照期间始终流所有结果。 |
|
|
控制心跳消息的发送频率。 |
|
|
控制要向其发送心跳消息的主题的命名。 |
|
当建立到数据库的JDBC连接(不是事务日志读取连接)时,将执行的SQL语句的分号列表。开云体育电动老虎机使用双分号(';;')将分号用作字符而不是分隔符。 |
||
连接器启动后在快照之前应该等待的间隔(以毫秒为单位); |
||
指定在进行快照时应一次性从每个表读取的最大行数。连接器将以这个大小的多个批次读取表内容。 |
||
|
正整数值,指定在执行快照时等待获得表锁的最大时间(以毫秒为单位)。如果在此时间间隔内无法获取表锁,则快照将失败。看到MySQL连接器如何执行数据库快照开云体育电动老虎机。 |
|
MySQL允许用户插入2位或4位的年份值。如果是两位数字,值将自动映射到1970 - 2069范围。这通常由数据库完成。开云体育电动老虎机 |
||
v2 |
的架构版本 |
|
|
是否对字段名进行消毒以符合Avro命名要求。 |
|
以逗号分隔的oplog操作列表,将在流处理期间跳过。操作包括: |
直通配置属性
MySQL连接器也支持直通配置属性在创建Kafka生产者和消费者时使用。属性开头的所有连接器配置属性开云体育电动老虎机database.history.producer。
在创建写入数据库历史的Kafka生成器时使用前缀(不带前缀)。开云体育电动老虎机所有以前缀开头的属性开云体育电动老虎机database.history.consumer。
在创建Kafka消费者时使用(没有前缀),在连接器启动时读取数据库历史。开云体育电动老虎机
例如,下面的连接器配置属性可以用来保护Kafka代理的连接:
开云体育电动老虎机database.history.producer.security。协议SSL databas开云体育电动老虎机e.history.producer.ssl.keystore.location = = / var /私人/ SSL / kafka.server.keystore。jks 开云体育电动老虎机database.history.producer.ssl.keystore。密码=test1234 database.history.producer.ssl.truststore.location=/var/private/ssl/kafka.server.truststore.jks database.history.producer.ssl.truststore.password=test1234 database.history.producer.ssl.key.password=test1234 database.history.consumer.security.protocol=SSL database.history.consumer.ssl.keystore.location=/var/private/ssl/kafka.server.keystore.jks database.history.consumer.ssl.keystore.password=test1234 database.history.consumer.ssl.truststore.location=/var/private/ssl/kafka.server.truststore.jks database.history.consumer.ssl.truststore.password=test1234 database.history.consumer.ssl.key.password=test1234
数据库驱动程序的传递属性开云体育电动老虎机
除了Kafka生产者和消费者的传递属性之外,还有数据库驱动程序的传递属性开云体育电动老虎机。这些属性具有开云体育电动老虎机数据库。
前缀。例如,开云体育电动老虎机database.tinyInt1isBit = false
传递给JDBC URL。
MySQL连接器监控指标
除了Zo开云体育官方注册网址okeeper、Kafka和Kafka Connect内置的对JMX指标的支持外,Debezium MySQL连接器还有三种指标类型。
请参阅监控文档了解如何通过JMX公开这些指标的详细信息。
快照指标
的MBean是开云体育官方注册网址debezium.mysql: type = connector-metrics上下文=快照,server开云体育电动老虎机 = < database.server.name >
。
属性 | 类型 | 描述 |
---|---|---|
|
|
连接器读取的最后一个快照事件。 |
|
|
自连接器读取并处理最近事件以来的毫秒数。 |
|
|
自上次启动或重置以来,此连接器已看到的事件总数。 |
|
|
连接器上已配置白名单或黑名单过滤规则过滤的事件个数。 |
|
|
连接器监视的表的列表。 |
|
|
用于在快照和主Kafka Connect循环之间传递事件的队列长度。 |
|
|
用于在快照和主Kafka Connect循环之间传递事件的队列的空闲容量。 |
|
|
快照中包含的表的总数。 |
|
|
快照尚未复制的表数。 |
|
|
快照是否启动。 |
|
|
快照是否中止。 |
|
|
快照是否完成。 |
|
|
快照到目前为止所花费的总秒数,即使没有完成。 |
|
|
映射,其中包含为快照中的每个表扫描的行数。在处理期间将表增量地添加到Map中。每扫描10,000行并在完成一个表时更新一次。 |
Debe开云体育官方注册网址zium MySQL连接器还提供了以下自定义快照度量:
属性 | 类型 | 描述 |
---|---|---|
|
|
连接器当前是否持有全局或表写锁。 |
Binlog指标
的MBean是开云体育官方注册网址debezium.mysql: type = connector-metrics、上下文= binlo开云体育电动老虎机g服务器= < database.server.name >
。
只有启用binlog事件缓冲时,与事务相关的属性才可用。看到binlog.buffer.size在高级连接器配置属性中获取更多详细信息。 |
属性 | 类型 | 描述 |
---|---|---|
|
|
连接器读取的最后一个流事件。 |
|
|
自连接器读取并处理最近事件以来的毫秒数。 |
|
|
自上次启动或重置以来,此连接器已看到的事件总数。 |
|
|
连接器上已配置白名单或黑名单过滤规则过滤的事件个数。 |
|
|
连接器监视的表的列表。 |
|
|
用于在streamer和主Kafka Connect循环之间传递事件的队列长度。 |
|
|
用于在streamer和主Kafka Connect循环之间传递事件的队列的空闲容量。 |
|
|
标志,该标志表示连接器当前是否连接到数据库服务器。开云体育电动老虎机 |
|
|
从最后一个更改事件的时间戳到连接器处理它之间的毫秒数。这些值将包含运行数据库服务器和连接器的机器上的时钟之间的任何差异。开云体育电动老虎机 |
|
|
提交的已处理事务的数量。 |
|
|
上次接收事件的坐标。 |
|
|
最后处理的事务的事务标识符。 |
Debe开云体育官方注册网址zium MySQL连接器还提供了以下自定义binlog指标:
属性 | 类型 | 描述 |
---|---|---|
|
|
连接器最近读取的binlog文件名的名称。 |
|
|
连接器已读取的binlog中的最近位置(以字节为单位)。 |
|
|
标志,表示连接器当前是否跟踪来自MySQL服务器的gtid。 |
|
|
连接器在读取binlog时看到的最新GTID集的字符串表示形式。 |
|
|
MySQL连接器跳过的事件数。通常情况下,由于MySQL binlog中的错误或无法解析的事件,事件会被跳过。 |
|
|
MySQL连接器断开连接的次数。 |
|
|
回滚且未流化的已处理事务的数量。 |
|
|
未符合预期协议的事务数 |
|
|
未放入前瞻性缓冲区的事务数。应该明显小于 |
架构历史度量
的MBean是开云体育官方注册网址debezium.mysql: type = connector-metrics、上下文= schema-histor开云体育电动老虎机y服务器= < database.server.name >
。
属性 | 类型 | 描述 |
---|---|---|
|
|
之一 |
|
|
恢复开始的时间(以epoch秒为单位)。 |
|
|
在恢复阶段读取的更改数。 |
|
|
在恢复和运行时应用的模式更改的总数。 |
|
|
自上次更改从历史存储区恢复以来所经过的毫秒数。 |
|
|
自应用最后一次更改以来所经过的毫秒数。 |
|
|
从历史存储中恢复的最后一次更改的字符串表示形式。 |
|
|
最后应用的更改的字符串表示形式。 |
MySQL连接器常见问题
配置和启动错误
Debe开云体育官方注册网址zium MySQL连接器失败,报告错误,并在以下启动错误时停止运行:
连接器的配置无效。
连接器无法使用指定的连接参数连接到MySQL服务器。
连接器试图在binlog中MySQL不再有可用历史的位置重新启动。
如果您收到这些错误中的任何一个,您将在错误消息中收到更多详细信息。错误消息还包含可能的变通方法。
MySQL不可用
如果您的MySQL服务器变得不可用,Debezium MySQL连接器将失败并报错,连接器将开云体育官方注册网址停止。您只需要在服务器可用时重新启动连接器。
Kafka连接停止
当Kafka Connect停止时,有三种情况会导致一些问题:
Kafka Connect优雅地停止
当Kafka Connect优雅地停止时,当Debezium MySQL连接器任务停止并在新的Kafka Connect进程上重新启动时,只有很短的延开云体育官方注册网址迟。
MySQL清除binlog文件
如果Debez开云体育官方注册网址ium MySQL连接器停止太长时间,MySQL服务器会清除旧的binlog文件,连接器的最后一个位置可能会丢失。当连接器重新启动时,MySQL服务器不再拥有起点,连接器执行另一个初始快照。如果快照被禁用,连接器将失败并报错。
看到MySQL连接器如何执行数据库快照开云体育电动老虎机有关初始快照的详细信息。 |