开云体育官方注册网址Debezium为JDBC连接器

默认情况下,Debezi开云体育官方注册网址um源连接器生产复杂,层次变化的事件。当Debe开云体育官方注册网址zium连接器水槽与其他使用JDBC连接器实现,您可能需要应用ExtractNewRecordState单个消息转换(SMT)平载荷变化的事件,这样他们可以被实现。如果运行水槽Debezium 开云体育官方注册网址JDBC连接器,它不是必要的部署SMT,因为Debezium水槽连接器可以直接使用本地Debezium改变事件,没有使用一个转换。

当水槽JDBC连接器使用一个复杂的更改事件从Debezium源连接器,它提取的值开云体育官方注册网址后部分的原始插入或更新事件。删除事件时被水槽连接器,没有咨询事件有效负载的一部分。

水槽De开云体育官方注册网址bezium JDBC连接器从卡夫卡消耗保证事件主题加工至少一次。

您可以运行跨多个卡夫卡水槽Deb开云体育官方注册网址ezium JDBC连接器连接的任务。连接器运行多个任务,设置tasks.max配置属性的任务的数量你想要使用的连接器。卡夫卡连接运行时启动指定数量的任务,并运行一个实例连接器的每个任务。多个任务可以通过阅读提高性能和并行处理来自多个源变化的话题。

让水槽Debezium JD开云体育官方注册网址BC连接器正确地从一个入站消息字段的数据类型映射到出站消息字段,连接器需要的每个字段的数据类型的信息存在于源的事件。连接器支持广泛的列类型映射在不同数据库方言。开云体育电动老虎机正确转换的目标列类型类型元数据在一个事件字段中,连接器适用于数据类型映射定义的源数据库。开云体育电动老虎机你可以提高连接器的方式解决通过设置数据类型的列column.propagate.source.type或datatype.propagate.source.type源连接器配置选项。当你启用这些选项,Debezium包括额外参数元数据,它帮助水开云体育官方注册网址槽JDBC连接器更准确地解决目标列的数据类型。

水槽Debezi开云体育官方注册网址um JDBC连接器处理事件从卡夫卡的话题,卡夫卡主题消息键,当礼物,必须是原始数据类型或结构体。此外,必须是源的负载信息结构体有一个扁平的结构没有嵌套结构体类型,或者一个嵌套结构体布局符合Debezium复杂的层次结构。开云体育官方注册网址

如果事件在卡夫卡的结构主题不遵守这些规则,你必须实现一个自定义单个消息转换源事件的结构转换成一个可用的格式。

默认情况下,水槽Debezium开云体育官方注册网址 JDBC连接器不源事件中的任何字段转换成主键的事件。不幸的是,缺乏一个稳定的主键可以复杂事件处理,根据您的业务需求,或者当水槽连接器使用插入语义。定义一个主键一致,您可以配置连接器使用的主键模式中描述如下表:

水槽De开云体育官方注册网址bezium JDBC连接器可以在目标数据库中删除行开云体育电动老虎机删除或墓碑上事件被消耗。默认情况下,水槽JDBC连接器不支持删除模式。

如果你想支持删除行,在连接器配置通过设置显式地启用它delete.enabled = true在连接器配置。然而,使用这种模式必须设置primary.key.fields以外的一个值没有一个。前面的配置是必要的,因为删除执行基于主键映射,所以如果一个目标表没有主键映射,连接器无法删除行。

水槽De开云体育官方注册网址bezium JDBC连接器支持幂等写道,允许同一记录反复重播,最后数据库状态保持一致。开云体育电动老虎机为了支持幂等写道,水槽JDBC连接器必须显式地配置了insert.mode设置为插入。一个插入操作和一个应用更新或者一个插入,这取决于指定的主键已经存在。如果主键值已经存在,操作更新值的行。如果指定的主键值不存在,一个插入添加一个新行。

每个数据库开云体育电动老虎机方言处理幂等不同写道,因为没有SQL标准插入操作。下面说明了插入特定于数据库的使用DML语法,支持数据库方言:开云体育电动老虎机

水槽De开云体育官方注册网址bezium JDBC连接器支持以下模式演化模式:

当schema.evolution被设置为基本,连接器会自动创建或改变目标数据库表根据传入的事件的结构。开云体育电动老虎机

事件时收到一个主题第一次和目标表不存在,水槽Debezium JDBC连接器使用事件的关键,或记录的模式结构表的结构来解决这一列。开云体育官方注册网址如果启用了模式演化,连接器准备和执行创建表SQL语句之前应用DML事件到目标表。

当Debezium开云体育官方注册网址 JDBC连接器接收到一个事件从一个话题,如果模式记录的结构不同于目标表的模式结构,连接器使用事件的关键或其模式结构来识别哪些列是新的,而且必须被添加到数据库表中。开云体育电动老虎机如果启用了模式演化,连接器准备和执行ALTER TABLESQL语句之前应用DML事件到目标表。因为改变列的数据类型,删除列,调整主键可以被认为是危险的操作,连接器禁止执行这些操作。

确定每个字段列的模式零或非空。模式还定义了每一列的默认值。如果连接器试图创建一个表nullability设置或不希望一个默认值,您必须手动创建表,提前,或调整相关领域的模式在水槽连接器处理事件。调整nullability设置或默认值,您可以引入一个自定义单独的消息转换,适用于管道的变化,或修改列源数据库中定义的状态。开云体育电动老虎机

一个字段的数据类型是解决基于一组预定义的映射。有关更多信息,请参见数据类型的映射。

水槽De开云体育官方注册网址bezium JDBC连接器消耗卡夫卡消息通过构造DDL(模式变化)或DML(数据变化)在目标数据库上执行SQL语句。开云体育电动老虎机默认情况下,连接器使用源话题和事件字段的名称为基础目标表中的表和列的名称。构建SQL不会自动划标识符和引用保存原始字符串的情况下。因此,默认情况下,文本的目标数据库中的表名或列名完全取决于数据库如何处理名称字符串时没有指定。开云体育电动老虎机

例如,如果目标数据库方言是甲骨文和事件的主题是开云体育电动老虎机订单,目标表将被创建订单因为甲骨文时默认为大写的名字的名字不是引用。类似地,如果目的地PostgreSQL数据库方言和事件的主题开云体育电动老虎机是订单,目标表将被创建订单因为PostgreSQL时默认为小写的名字的名字不是引用。

通过设置quote.identifiers来真正的在连接器配置,您可以显式地设置表和字段的名称保存的情况下,存在于卡夫卡事件。如果传入的事件为主题订单和目标数据库方言是甲骨文,如果启用了引用开云体育电动老虎机——也就是说,如果quote.identifiers被设置为真正的——连接器创建一个表的名称订单,因为构造SQL定义的表的名称“订单”。当启用引用时,创建列名的行为以同样的方式工作。

通常,您注册一个Debezium JDBC连接器通过开云体育官方注册网址提交一个JSON请求指定连接器的配置属性。下面的例子显示了JSON请求注册水槽Debezium JDBC连接器的一个实例,从一个主题叫消耗事件开云体育官方注册网址订单最常见的配置设置:

配置属性的完整列表,您可以设置Debezium JDBC连接器,明白了开云体育官方注册网址JDBC连接器属性。

你可以发送这个配置帖子命令来运行卡夫卡连接服务。服务记录配置并启动一个水槽连接器任务(s),执行以下操作: