开云体育官方注册网址Debezium博客

创建新的主题/管道

当你在使用Kafka Connect分布式时,你可能已经意识到,一旦你开始使用Kafka Connect,就已经有一些内部的Kafka Connect相关主题为你创建:

$ kafka-topic .sh——bootstrap-server $HOSTNAME:9092——list connect_configs connect_offset connect_status

这是由Kafka Connect自动完成的,它有一个合理的、自定义的默认主题配置,可以满足这些内部主题的需求。

当你启动一个Debezium连接器开云体育官方注册网址时,被捕获事件的主题是由Kafka代理根据代理中的默认(可能是自定义的)配置创建的Auto.create.topics.enable = true在代理配置中启用:

Auto.create.topics.enable = true default.replication.factor = 1 num.partitions = 1压缩。Type = producer log.cleanup.policy = delete log.retention.ms = 604800000 ## 7天

但通常,当你在生产环境中使用Debezium和K开云体育官方注册网址afka时,你可能会选择禁用Kafka的主题自动创建功能Auto.create.topics.enable = false,或者希望连接器主题的配置与默认值不同。在这种情况下,您必须预先为Debezium捕获的数据源创建主题。开云体育官方注册网址
但也有好消息!从Kafka Connect 2.6.0版本开始,这可以自动完成kip - 158实现了Kafka Connect的自定义主题创建功能。

Baidu
map