您正在查看Debezium未发布版本的文档。开云体育官方注册网址
如果您想查看本页最新的稳定版本,请前往在这里

开云体育官方注册网址Debezium架构

最常见的是,通过Apache部署Debezium开云体育官方注册网址卡夫卡连接.Kafka Connect是一个框架和运行时,用于实现和操作:

  • 源连接器,如Debezium,将记录发送到Kafka开云体育官方注册网址

  • 接收器连接器,将记录从Kafka主题传播到其他系统

下图显示了基于Debezium的变更数据捕获管道的架构:开云体育官方注册网址

开云体育官方注册网址Debezium架构

如图所示,部署了用于MySQL和PostgresSQL开云体育官方注册网址的Debezium连接器,以捕获对这两种类型的数据库的更改。开云体育电动老虎机每个Deb开云体育官方注册网址ezium连接器都建立一个到其源数据库的连接:开云体育电动老虎机

  • MySQL连接器使用客户端库来访问binlog

  • PostgreSQL连接器从逻辑复制流中读取数据。

Kafka Connect作为Kafka代理之外的独立服务运行。

默认情况下,对一个数据库表的更改会写入一个Kafka主题,开云体育电动老虎机该主题的名称与表名对应。如果需要,您可以通过配置Debezium的来调整目标主题名称开云体育官方注册网址主题路由转换.例如,你可以:

  • 路由记录到名称与表名不同的主题

  • 将多个表的更改事件记录流到单个主题中

变更事件记录在Apache Kafka中之后,Kafka Connect生态系统中的不同连接器可以将记录流到其他系统和数据库,如Elasticsearch、数据仓库和分析系统,或缓存(如Infinispan)。开云体育电动老虎机根据所选择的接收器连接器,您可能需要配置Debezium的接收器连接器开云体育官方注册网址新记录状态提取转换。这个Kafka Connect SMT传播从Debezium的变化事件到开云体育官方注册网址接收器连接器的结构。这将取代默认情况下传播的详细更改事件记录。

开云体育官方注册网址Debezium服务器

部署Debezium的另一种方法是使用开云体育官方注册网址开云体育官方注册网址Debezium服务器.Debe开云体育官方注册网址zium服务器是一个可配置的、随时可用的应用程序,它将事件从源数据库传输到各种消息传递基础设施。开云体育电动老虎机

下图显示了使用Debezium服务器的变更数据捕获管道的架构:开云体育官方注册网址

开云体育官方注册网址Debezium架构

Debe开云体育官方注册网址zium服务器被配置为使用一个Debezium源连接器来从源数据库捕获更改。开云体育电动老虎机更改事件可以序列化为不同的格式,如JSON或Apache Avro,然后将被发送到各种消息传递基础设施之一,如Amazon Kinesis、谷歌Cloud Pub/Sub或Apache Pulsar。

嵌入式引擎

使用Debezium连接器的另一种方法是开云体育官方注册网址嵌入式引擎.在这种情况下,Debeziu开云体育官方注册网址m将不会通过Kafka Connect运行,而是作为嵌入到自定义Java应用程序中的库运行。这对于在应用程序内部消费更改事件非常有用,而不需要部署完整的Kafka和Kafka Connect集群,或者用于将更改流式传输到替代消息代理(如Amazon Kinesis)。你可以找到一个例子对于示例库中的后者。