您正在查看过时的Debezium版本的文档。开云体育官方注册网址
如果您想查看本页最新的稳定版本,请前往在这里

开云体育官方注册网址Debezium特性

开云体育官方注册网址Debezium是Apache Kafka Connect的一组源连接器,使用变更数据捕获(CDC)从不同的数据库中获取变更。开云体育电动老虎机与轮询或双写入等其他方法不同,Debezium实现的基于日志的CDC:开云体育官方注册网址

  • 确保捕获所有数据更改

  • 属性生成更改事件极低延迟(例如MySQL或Postgres的ms范围),同时避免频繁轮询增加CPU占用

  • 需要不需要更改数据模型(如“最近更新”列)

  • 可以捕捉删除

  • 可以捕获旧记录状态和进一步的元数据例如事务id和引起的查询(取决于数据库的功能和配置)开云体育电动老虎机

要了解基于日志的CDC的更多优点,请参见这篇博文

Debezium的实际变更数据捕获特性通过一系列相关功能和选项进行了修改:开云体育官方注册网址

  • 快照:可选地,如果连接器启动,并且不是所有日志仍然存在(通常情况下,数据库已经运开云体育电动老虎机行了一段时间,并且已经丢弃了事务恢复或复制不再需要的任何事务日志),则可以获取数据库当前状态的初始快照;快照存在不同的模式,请参考您正在使用的特定连接器的文档以了解更多信息

  • 过滤器:捕获的模式、表和列集可以通过白名单/黑名单过滤器进行配置

  • 屏蔽:来自特定列的值可以被屏蔽,例如敏感数据

  • 监控:大多数连接器都可以使用JMX监控

  • 不同的现成的消息转换例如:消息路由,提取新记录状态(关系连接器MongoDB),事件路由来自事务发件箱表

请参阅连接器的文档获取所有受支持的数据库的列表,以及关于每个连接器的功能和开云体育电动老虎机配置选项的详细信息。