开云体育官方注册网址Debezium架构
最常见的是,Debezium是开云体育官方注册网址通过Apache部署的卡夫卡连接.Kafka Connect是一个用于实现和操作的框架和运行时
源连接器,如Debezium,它摄取数据到Kafka开云体育官方注册网址和
接收器连接器,它将数据从Kafka主题传播到其他系统。
下图显示了基于Debezium的CDC管道架构:开云体育官方注册网址
Kafka Connect是作为Kafka代理本身之外的独立服务运行的。为MyS开云体育官方注册网址QL和Postgres部署的Debezium连接器用于捕获这两个数据库的更改。开云体育电动老虎机为此,两个连接器使用一个客户端库建立到两个源数据库的连接,在MySQL中访问binlog,在Postgres中读取逻辑复制流。开云体育电动老虎机
默认情况下,一个捕获表的更改被写入相应的Kafka主题。如果需要,可以在Debezium的帮助下调整主题名称开云体育官方注册网址主题路由,例如,使用与捕获的表名不同的主题名,或将多个表的更改流到单个主题中。
一旦更改事件在Apache Kafka中,Kafka Connect生态系统中的不同连接器可以用于将更改流传输到其他系统和数据库,如Elasticsearch、数据仓库和分析系统或缓存(如Infinispan)。开云体育电动老虎机根据所选择的接收器连接器,可能需要应用Debezium的连接器开云体育官方注册网址新记录状态提取SMT,它只会将“after”结构从Debezium的事件信封传播到接收器连接器。开云体育官方注册网址