安装Debezium开云体育官方注册网址

有几种方法可以安装和使用Debezium连接器,我们记录了一些最常见的方法。开云体育官方注册网址

安装一个Debezium连开云体育官方注册网址接器

如果你已经安装了动物园管理员,卡夫卡,卡夫卡连接,然后使用一个Debezium的连接器是开云体育官方注册网址容易的。只需下载一个或多个连接器插件档案(见下文),到卡夫卡连接环境中提取他们的文件,并添加提取的插件的父目录(s)卡夫卡连接插件的路径。如果不是这样,工人配置中指定插件的路径(例如connect-distributed.properties)使用plugin.path配置属性。作为一个例子,让我们假设您已经下载了Debezium MySQL连接器存档并提取其内容开云体育官方注册网址卡夫卡/ / debezium开云体育官方注册网址-connector-mysql连接。然后你会在工人中指定以下配置:

plugin.path = /卡夫卡/连接

重新启动卡夫卡连接过程去接新罐。

连接器从Maven插件可用:

如果你不变的容器,然后检查开云体育官方注册网址Debezium集装箱的图片(替代来源DockerHub)为Apache卡夫卡、卡夫卡和Apache管理员联系,不同Debezium连接器已经预装和准备好了。开云体育官方注册网址我们的教程即使走你通过使用这些图片,这是学习的极好途径Debezium都是关于什么。开云体育官方注册网址当然你也可以Debezium Kubernetes和运开云体育官方注册网址行OpenShift。使用StrimziKubernetes操作建议。它允许部署Apache卡夫卡,卡夫卡连接,甚至通过自定义连接器声明Kubernetes资源。

默认情况下,这个目录卡夫卡/连接用作Debezium插件目录的卡夫卡连接码头工人的形象。开云体育官方注册网址所以您可能希望使用任何额外的连接器应该被添加到该目录。或者,您可以将进一步目录添加到插件通过指定的路径KAFKA_CONNECT_PLUGINS_DIR当启动容器(如环境变量。- e KAFKA_CONNECT_PLUGINS_DIR = /卡夫卡/连接/,/道路/进一步/ /插件)。当使用容器形象卡夫卡汇合的提供的连接,您可以指定CONNECT_PLUGIN_PATH环境变量来达到相同的。

注意Java 11或后运行Debezium所需连接器或Debezium UI。开云体育官方注册网址

使用快照版本

开云体育官方注册网址Debezium执行夜间构建和部署到Sonatype快照库。如果你想尝试最新的和新鲜的或者验证缺陷修复你感兴趣,然后使用插件oss.sonatype.org或查看主分支本文档版本的工件直接链接到每个连接器的插件。普通版本的安装过程是一样的。

使用Debezi开云体育官方注册网址um连接器

使用连接器生产更改事件为一个特定的源服务器/集群,简单地创建一个配置文件MySQL连接器,Postgres连接器,MongoDB连接器,SQL Server连接器,甲骨文连接器,Db2 Connector,卡桑德拉的连接器,或维塔斯的连接器,并使用卡夫卡REST API连接卡夫卡添加连接器配置连接集群。当连接器启动时,它将连接到源和生产活动对于每个插入,更新,删除行或文档。

看到Debezi开云体育官方注册网址um连接器文档的更多信息。

配置Debezium主题开云体育官方注册网址

开云体育官方注册网址Debezium使用(通过卡夫卡连接或直接)多个主题来存储数据。主题必须由管理员或卡夫卡本身通过启用自动创建主题。有一定的局限性,建议适用于主题:

  • 开云体育电动老虎机数据库模式历史主题(Debezium连接器的MySQL和SQL服务器)开云体育官方注册网址

    • 无限(或很长)保留(不压实!)

    • 复制因子至少3生产

    • 单分区

  • 其他主题

    • 可选地,日志压实(如果你希望只有保持启用去年更改事件对于一个给定的记录);在这种情况下,min.compaction.lag.ms和delete.retention.ms主题级设置Apache卡夫卡应该配置,因此,消费者有足够的时间收到所有事件和删除标记;具体地说,这些值应该比你预期的最大停机时间水槽连接器,例如当更新他们

    • 复制在生产

    • 单分区

      • 你可以放松单一分区规则但应用程序必须处理无序事件中不同行的数据库(事件一行仍完全命令)。开云体育电动老虎机如果使用多个分区,卡夫卡将决定默认分区通过散列键。其他分区策略需要使用smt设置每个记录的分区号。

    • 自动创建可定制的话题(可用自卡夫卡2.6.0连接)自定义主题自动创建

使用Debezium开云体育官方注册网址库

尽管Debeziu开云体育官方注册网址m旨在作为交钥匙服务,所有的罐子和其他工件Maven中央。

我们提供一个小型图书馆,所以应用程序可以嵌入任何卡夫卡连接连接器和消费直接从源系统中读取数据的修改事件。这提供了一种重量轻系统(因为饲养员、卡夫卡和卡夫卡连接服务不需要),但结果并不像以来容错或可靠的应用程序必须管理和维护所有状态通常保持在卡夫卡的分发和复制日志。它是完美的用于测试,仔细考虑它可能是有用的在某些应用程序中。