您正在查看过时的Debezium版本的文档。开云体育官方注册网址
如果您想查看本页最新的稳定版本,请前往在这里

开云体育官方注册网址Debezium架构

最常见的是,Debezium是开云体育官方注册网址通过Apache部署的卡夫卡连接.Kafka Connect是一个用于实现和操作的框架和运行时

  • 源连接器,如Debezium,它摄取数据到Kafka开云体育官方注册网址和

  • 接收器连接器,它将数据从Kafka主题传播到其他系统。

下图显示了基于Debezium的CDC管道架构:开云体育官方注册网址

开云体育官方注册网址Debezium架构

Kafka Connect是作为Kafka代理本身之外的独立服务运行的。为MyS开云体育官方注册网址QL和Postgres部署的Debezium连接器用于捕获这两个数据库的更改。开云体育电动老虎机为此,两个连接器使用一个客户端库建立到两个源数据库的连接,在MySQL中访问binlog,在Postgres中读取逻辑复制流。开云体育电动老虎机

默认情况下,一个捕获表的更改被写入相应的Kafka主题。如果需要,可以在Debezium的帮助下调整主题名称开云体育官方注册网址主题路由,例如,使用与捕获的表名不同的主题名,或将多个表的更改流到单个主题中。

一旦更改事件在Apache Kafka中,Kafka Connect生态系统中的不同连接器可以用于将更改流传输到其他系统和数据库,如Elasticsearch、数据仓库和分析系统或缓存(如Infinispan)。开云体育电动老虎机根据所选择的接收器连接器,可能需要应用Debezium的连接器开云体育官方注册网址新记录状态提取SMT,它只会将“after”结构从Debezium的事件信封传播到接收器连接器。开云体育官方注册网址

嵌入式引擎

使用Debezium连接器的另一种方法是开云体育官方注册网址嵌入式引擎.在这种情况下,Debeziu开云体育官方注册网址m不会通过Kafka Connect运行,而是作为嵌入到自定义Java应用程序中的库运行。这对于在应用程序内部消费更改事件非常有用,而不需要部署完整的Kafka和Kafka Connect集群,或者用于将更改流式传输到替代消息代理(如Amazon Kinesis)。你可以找到一个例子对于示例库中的后者。