开云体育官方注册网址Debezium架构
最常见的是,通过Apache部署Debezium开云体育官方注册网址卡夫卡连接.Kafka Connect是一个框架和运行时,用于实现和操作:
源连接器,如Debezium,将记录发送到Kafka开云体育官方注册网址
接收器连接器,将记录从Kafka主题传播到其他系统
下图显示了基于Debezium的变更数据捕获管道的架构:开云体育官方注册网址
如图所示,部署了用于MySQL和PostgresSQL开云体育官方注册网址的Debezium连接器,以捕获对这两种类型的数据库的更改。开云体育电动老虎机每个Deb开云体育官方注册网址ezium连接器都建立一个到其源数据库的连接:开云体育电动老虎机
MySQL连接器使用客户端库来访问
binlog
.PostgreSQL连接器从逻辑复制流中读取数据。
Kafka Connect作为Kafka代理之外的独立服务运行。
默认情况下,对一个数据库表的更改会写入一个Kafka主题,开云体育电动老虎机该主题的名称与表名对应。如果需要,您可以通过配置Debezium的来调整目标主题名称开云体育官方注册网址主题路由转换.例如,你可以:
路由记录到名称与表名不同的主题
将多个表的更改事件记录流到单个主题中
变更事件记录在Apache Kafka中之后,Kafka Connect生态系统中的不同连接器可以将记录流到其他系统和数据库,如Elasticsearch、数据仓库和分析系统,或缓存(如Infinispan)。开云体育电动老虎机根据所选择的接收器连接器,您可能需要配置Debezium的接收器连接器开云体育官方注册网址新记录状态提取转换。这个Kafka Connect SMT传播后
从Debezium的变化事件到开云体育官方注册网址接收器连接器的结构。这将取代默认情况下传播的详细更改事件记录。
开云体育官方注册网址Debezium服务器
部署Debezium的另一种方法是使用开云体育官方注册网址开云体育官方注册网址Debezium服务器.Debe开云体育官方注册网址zium服务器是一个可配置的、随时可用的应用程序,它将事件从源数据库传输到各种消息传递基础设施。开云体育电动老虎机
下图显示了使用Debezium服务器的变更数据捕获管道的架构:开云体育官方注册网址
Debe开云体育官方注册网址zium服务器被配置为使用一个Debezium源连接器来从源数据库捕获更改。开云体育电动老虎机更改事件可以序列化为不同的格式,如JSON或Apache Avro,然后将被发送到各种消息传递基础设施之一,如Amazon Kinesis、谷歌Cloud Pub/Sub或Apache Pulsar。