开云体育官方注册网址Debezium架构

最常见的是,您部署Debezium通过Apache开云体育官方注册网址卡夫卡连接。卡夫卡是一个框架连接和运行时实现和操作:

  • 源Debezium发送记录到卡夫卡等连接器开云体育官方注册网址

  • 水槽连接器,记录从卡夫卡的话题传播到其他系统

下面的图像显示的架构变化数据捕获基于Debezium管道:开云体育官方注册网址

开云体育官方注册网址Debezium架构

如图片所示,Debezium连接器部署MySQL和Po开云体育官方注册网址stgresSQL捕捉更改这两个类型的数据库。开云体育电动老虎机每个Deb开云体育官方注册网址ezium连接器建立一个连接到源数据库:开云体育电动老虎机

  • MySQL连接器使用访问的客户端库binlog

  • PostgreSQL连接器读取从逻辑复制流。

卡夫卡连接是一个独立的服务除了卡夫卡代理。

默认情况下,改变从一个数据库表中写入一个卡夫卡的话题的名字开云体育电动老虎机对应的表名。如果需要,你可以调整目标配置Debezium的主题名称开云体育官方注册网址路由转换话题。例如,您可以:

  • 记录路由到一个主题的名字不同于表的名字

  • 流变化事件记录多个表到一个话题

在Apache卡夫卡更改事件记录后,不同的连接器卡夫卡连接生态系统能流记录Elasticsearch等其他系统和数据库,数据仓库和分析系统或Infinispan等缓存。开云体育电动老虎机根据所选的水槽连接器,您可能需要配置Debezium开云体育官方注册网址新记录状态提取转换。这个卡夫卡连接SMT传播结构与Debezium水槽连接开云体育官方注册网址器的更改事件。这是详细的更改事件记录默认传播。

开云体育官方注册网址Debezium服务器

部署Debezium的另一种方法是使用开云体育官方注册网址开云体育官方注册网址Debezium服务器。Debe开云体育官方注册网址zium服务器是可配置的,现成的应用程序流从源数据库更改事件不同的消息传递基础设施。开云体育电动老虎机

下面的图像显示的架构变化数据捕获管道使用Debezium服务器:开云体育官方注册网址

开云体育官方注册网址Debezium架构

Debe开云体育官方注册网址zium服务器配置为使用一个Debezium源连接器捕捉变化从源数据库。开云体育电动老虎机更改事件可以序列化不同格式如JSON或Apache Avro然后将被发送到一个不同的消息传递基础设施如亚马逊运动,谷歌云Pub / Sub,或Apache脉冲星。

嵌入式引擎

然而,另一种方法是使用Debezium连接器开云体育官方注册网址嵌入式引擎。在这种情况下,通过卡夫卡连接开云体育官方注册网址Debezium不会运行,但作为一个库嵌入到您的自定义Java应用程序。这可以用于消费改变事件在您的应用程序本身,而不需要部署完整的卡夫卡和卡夫卡连接集群,或流变化等替代消息传递代理亚马逊运动。你可以找到一个例子后者的例子库。