开云体育官方注册网址Debezium博客

我们祝愿Debezium社区在2018年一切顺利!开云体育官方注册网址

当我们正在开发0.7.2版本时,我们认为应该发布另一篇文章,描述基于Debezium的端到端数据流用例。开云体育官方注册网址我们已经看到了如何设置到下游数据库的变更数据流开云体育电动老虎机几周前.在这篇博客文章中,我们将遵循相同的方法将数据流传输到Elasticsearch服务器利用其出色的能力对我们的数据进行全文搜索。但是为了让事情变得更有趣,我们将把数据流传输到PostgreSQL数据库和Elasticsearch,因此我们将通过SQL查询语言和全文搜索优化对数据的访问。开云体育电动老虎机

在这篇博文中,我们将创建一个简单的流数据管道来连续捕捉MySQL数据库中的变化,并将其近乎实时地复制到PostgreSQL数据库中。开云体育电动老虎机我们将展示如何在不编写任何代码的情况下做到这一点,而是通过使用和配置Kafka Connect、Debezium MySQL源连接器、Confluent JDBC接收器连接器和一些单个消息转换(smt)来实现。开云体育官方注册网址

这种通过Kafka复制数据的方法本身确实很有用,但是当我们可以将近乎实时的数据变更流与其他流、连接器和流处理应用程序结合在一起时,这种方法会变得更加有利。最近的一次Confluent博客文章系列显示了类似的流数据管道,但使用不同的连接器和smt。Kafka Connect的伟大之处在于,你可以混合和匹配连接器来在多个系统之间移动数据。

我们还将演示附带发布的一个新功能开云体育官方注册网址Debezium 0.6.0:用于的单个消息转换事件扁平化

Baidu
map