使用Hibernate和Debezium实现聚合视图开云体育官方注册网址</t我tle><l我nk rel="stylesheet" href="//www.coraltyphoon.com/assets/css/bootstrap.min.css"> <link rel="stylesheet" href="//www.coraltyphoon.com/assets/css/custom.css"> <link rel="stylesheet" href="//www.coraltyphoon.com/assets/css/highlight.min.css"> <link rel="stylesheet" href="//www.coraltyphoon.com/assets/css/coderay.css"> </head> <body class="post"> <div id="rhbar"> <a class="jbdevlogo" href="https://developers.redhat.com"></a> <a class="rhlogo" href="https://www.redhat.com/"></a> </div> <div id> <div class="container" id="content"> <nav class="navbar navbar-inverse navbar-fix"> <div class="container-fluid"> <div class="navbar-header"> <button class="navbar-toggle collapsed border-0" type="button" data-toggle="collapse" data-target="#navigation" aria-controls="navigation" aria-expanded="false" aria-label="Toggle navigation"><span class="icon-bar"></span><span class="icon-bar"></span><span class="icon-bar"></span></button> <a class="navbar-brand" href="//www.coraltyphoon.com/"><img class="project-logo" src="//www.coraltyphoon.com/assets/images/color_white_debezium_type_600px.svg" style="height: 32px; margin-right: 5px; margin-top: -5px;"></a> </div> <div class="collapse navbar-collapse collapsed" id="navigation"> <ul class="nav navbar-nav pull-right"> <li><a href="//www.coraltyphoon.com/documentation/faq" class="">常见问题解答</一个></l我><l我类="item"><a href="//www.coraltyphoon.com/documentation/" class="">文档</一个></l我><l我><a href="//www.coraltyphoon.com/releases/" class="">释放</一个></l我><l我><a href="//www.coraltyphoon.com/community/" class="">社区</一个></l我><l我类="active"><a href="//www.coraltyphoon.com/blog/" class="active">博客</一个></l我></ul> </div> </div> </nav> <div class="row post-text-padding row-no-expand"> <div class="col-md-3"> <div id="leftdocnav"> <div class="hidden-lg hidden-md hidden-sm"> <button class="navbar-toggle docssubmenu-toggle collapsed" data-target="#docssubmenu" data-toggle="collapse" style=" float: none; background-color: #656565; border-color: #656565; width: 100%; color: #fff; ">导航菜单</button> </div> <div class="collapse" id="docssubmenu"> <div class="doc-pills"> <ul class="nav nav-pills nav-stacked"> <li class="item"><a href="//www.coraltyphoon.com/blog">首页</一个><d我v class="icon"> <span class="icon-home"></span> </div></li> <li class="item"><a href="//www.coraltyphoon.com/archives">存档</一个><d我v class="icon"> <span class="icon-arrow-down"></span> </div></li> <li class="item"><a href="//www.coraltyphoon.com/blog.atom">饲料</一个><d我v class="icon"> <span class="icon-rss"></span> </div></li> </ul> </div> <p></p> <div class="featured-posts"> <div id="#featured" style="margin-bottom: 4px; border-bottom: 1px solid #ccc; font-size: 115%; margin-left: 2px;"> 特色的帖子</d我v> <ul style="padding-inline-start: 22px;"> <li style="margin-bottom: 3px;"><a href="//www.coraltyphoon.com/blog/2020/11/04/streaming-vitess-at-bolt/" style="font-size: 95%;">流维特斯在博尔特</一个></l我><l我年代tyle="margin-bottom: 3px;"><a href="//www.coraltyphoon.com/blog/2020/02/10/event-sourcing-vs-cdc/" style="font-size: 95%;">微服务的分布式数据——事件来源vs.变更数据捕获</一个></l我><l我年代tyle="margin-bottom: 3px;"><a href="//www.coraltyphoon.com/blog/2019/10/01/audit-logs-with-change-data-capture-and-stream-processing/" style="font-size: 95%;">使用变更数据捕获和流处理构建审计日志</一个></l我><l我年代tyle="margin-bottom: 3px;"><a href="//www.coraltyphoon.com/blog/2019/07/12/streaming-cassandra-at-wepay-part-1/" style="font-size: 95%;">流式卡桑德拉在WePay -第一部分</一个></l我><l我年代tyle="margin-bottom: 3px;"><a href="//www.coraltyphoon.com/blog/2019/02/19/reliable-microservices-data-exchange-with-the-outbox-pattern/" style="font-size: 95%;">使用发件箱模式进行可靠的微服务数据交换</一个></l我><l我年代tyle="margin-bottom: 3px;"><a href="//www.coraltyphoon.com/blog/2018/12/05/automating-cache-invalidation-with-change-data-capture/" style="font-size: 95%;">使用变更数据捕获自动化缓存失效</一个></l我><l我年代tyle="margin-bottom: 3px;"><a href="//www.coraltyphoon.com/blog/2018/09/20/materializing-aggregate-views-with-hibernate-and-debezium/" style="font-size: 95%;">使用Hibernate和Debezium实现聚合视图开云体育官方注册网址</一个></l我><l我年代tyle="margin-bottom: 3px;"><a href="//www.coraltyphoon.com/blog/2018/07/19/advantages-of-log-based-change-data-capture/" style="font-size: 95%;">基于日志的变更数据捕获的五个优点</一个></l我><l我年代tyle="margin-bottom: 3px;"><a href="//www.coraltyphoon.com/blog/2018/03/08/creating-ddd-aggregates-with-debezium-and-kafka-streams/" style="font-size: 95%;">使用Debezium和Kafka流创建DDD聚合开云体育官方注册网址</一个></l我><l我年代tyle="margin-bottom: 3px;"><a href="//www.coraltyphoon.com/blog/2018/01/17/streaming-to-elasticsearch/" style="font-size: 95%;">流数据从您的数据库更改到Elasticsearch开云体育电动老虎机</一个></l我></ul> </div> <p></p> <p></p> <div class="cloud-tags"> <div id="tags" style="margin-bottom: 4px; border-bottom: 1px solid #ccc; font-size: 115%; margin-left: 2px;"> 标签</d我v> <div class="tag-cloud"> <span class="site-tag"><a href="//www.coraltyphoon.com/tag/apache-kafka/" style="font-size: 82%">apache卡夫卡</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/apache-kafka/" style="font-size: 88%">apache卡夫卡</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/apicurio/" style="font-size: 82%">apicurio</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/avro/" style="font-size: 84%">avro</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/aws/" style="font-size: 82%">aws</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/camel/" style="font-size: 82%">骆驼</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/cassandra/" style="font-size: 220%">卡珊德拉</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/community/" style="font-size: 120%">社区</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/community-stories/" style="font-size: 84%">社区的故事</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/cqrs/" style="font-size: 82%">cqrs</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/datalake/" style="font-size: 82%">datalake</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/db2/" style="font-size: 198%">db2</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/debezium/" style="font-size: 88%">开云体育官方注册网址</a></span> <span class="site-tag"><a href="//www.coraltyphoon.com/tag/debezium-server/" style="font-size: 90%">开云体育官方注册网址debezium服务器</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/debezium-ui/" style="font-size: 88%">开云体育官方注册网址debezium ui</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/discussion/" style="font-size: 114%">讨论</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/docker/" style="font-size: 184%">码头工人</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/elasticsearch/" style="font-size: 82%">elasticsearch</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/event-sourcing/" style="font-size: 82%">事件的采购</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/example/" style="font-size: 88%">例子</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/examples/" style="font-size: 110%">例子</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/fedora/" style="font-size: 82%">fedora</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/hiring/" style="font-size: 84%">招聘</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/iceberg/" style="font-size: 82%">冰山</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/integration/" style="font-size: 82%">集成</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/introduction/" style="font-size: 84%">介绍</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/jaeger/" style="font-size: 82%">jaeger</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/json/" style="font-size: 82%">json</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/kafka/" style="font-size: 92%">卡夫卡</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/kafka-streams/" style="font-size: 82%">卡夫卡流</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/kafka-streams/" style="font-size: 86%">卡夫卡流</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/kogito/" style="font-size: 82%">kogito</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/ksql/" style="font-size: 82%">ksql</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/kubernetes/" style="font-size: 82%">kubernetes</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/lakehouse/" style="font-size: 82%">lakehouse</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/microservices/" style="font-size: 84%">microservices</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/mongo/" style="font-size: 86%">蒙戈</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/mongodb/" style="font-size: 216%">mongodb</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/mysql/" style="font-size: 352%">mysql</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/news/" style="font-size: 108%">新闻</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/newsletter/" style="font-size: 88%">通讯</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/oracle/" style="font-size: 246%">甲骨文</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/outbox/" style="font-size: 188%">发件箱</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/postgres/" style="font-size: 320%">postgres</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/presentation/" style="font-size: 84%">演讲</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/production/" style="font-size: 82%">生产</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/quarkus/" style="font-size: 92%">quarkus</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/questdb/" style="font-size: 82%">questdb</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/rds/" style="font-size: 84%">rds</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/releases/" style="font-size: 334%">释放</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/schema/" style="font-size: 82%">模式</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/scylla/" style="font-size: 82%">“锡拉”</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/secrets/" style="font-size: 82%">秘密</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/sentry/" style="font-size: 82%">哨兵</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/serialization/" style="font-size: 82%">序列化</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/smt/" style="font-size: 84%">smt</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/snapshots/" style="font-size: 84%">快照</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/spanner/" style="font-size: 82%">扳手</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/sql/" style="font-size: 84%">sql</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/sqlserver/" style="font-size: 262%">sqlserver</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/testcontainers/" style="font-size: 88%">testcontainers</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/tests/" style="font-size: 82%">测试</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/time-series/" style="font-size: 82%">时间序列</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/topics/" style="font-size: 82%">主题</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/tracing/" style="font-size: 82%">跟踪</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/vagrant/" style="font-size: 82%">流浪的</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/vitess/" style="font-size: 178%">维塔斯</一个></年代p一个n><年代pan class="site-tag"><a href="//www.coraltyphoon.com/tag/website/" style="font-size: 84%">网站</一个></年代p一个n></d我v> </div> </div> </div> </div> <div class="col-md-9"> <div class="post"> <div class="row" style="margin-left: 0; margin-right: 0; margin-bottom: 10px"> <div class="col-sm-12" style="padding-left: 0px"> <div style="display: table-cell; vertical-align: top"> <div style=" width: 72px; border: 1px solid #ccc; padding: 3px; display: inline-block; "> <img src="//www.coraltyphoon.com/assets/images/gmorling.jpg" style="width: 64px;"> </div> </div> <div style="display: table-cell; vertical-align: top"> <div style="margin-left: 8px"> <span class="hidden-sm hidden-xs" style="font-size: 2.75rem; line-height: 1"><a href="//www.coraltyphoon.com/blog/2018/09/20/materializing-aggregate-views-with-hibernate-and-debezium/">使用Hibernate和Debezium实现聚合视图开云体育官方注册网址</一个></年代p一个n><年代pan class="hidden-md hidden-lg" style="font-size: 2rem; line-height: 1"><a href="//www.coraltyphoon.com/blog/2018/09/20/materializing-aggregate-views-with-hibernate-and-debezium/">使用Hibernate和Debezium实现聚合视图开云体育官方注册网址</一个></年代p一个n><d我v class="byline" style="line-height: 1"> <em>2018年9月20日by</e米><e米>贡纳Morling</e米><d我v class="hidden-xs" style="margin-top: 5px"> <a class="label label-info hidden-sm hidden-xs" href="//www.coraltyphoon.com/tag/discussion/">讨论</一个><一个类="label label-info hidden-sm hidden-xs" href="//www.coraltyphoon.com/tag/examples/">例子</一个></d我v> </div> </div> </div> </div> </div> <div class="grid__item width-12-12"> <div class="paragraph"> <p>更新外部全文搜索索引(例如:<一个href="https://www.elastic.co/products/elasticsearch">Elasticsearch</一个>）是变更数据捕获(CDC)的一个非常流行的用例。</p></d我v> <div class="paragraph"> <p>正如我们在<一个href="//www.coraltyphoon.com/blog/2018/01/17/streaming-to-elasticsearch/">博客</一个>一段时间前，Debezium的CDC源连接器和Confluent开云体育官方注册网址的结合<一个href="https://docs.confluent.io/current/connect/connect-elasticsearch/docs/index.html">用于Elasticsearch的下沉连接器</一个>可以直接捕捉MySQL、Postgres等中的数据变化，并将其近实时地推向Elasticsearch。这将导致源数据库中的表和Elasticsearch中相应的搜索索引之间的1:1关系，这对于许多用例来说是非常好的。开云体育电动老虎机</p></d我v> <div class="paragraph"> <p>但是，如果您想将整个聚合放入单个索引中，则会变得更具挑战性。一个例子可以是一个客户和他们所有的地址;它们通常存储在RDBMS中两个独立的表中，通过外键链接，而Elasticsearch中只需要一个索引，包含嵌入地址的客户文档，允许您根据地址有效地搜索客户。</p></d我v> <div class="paragraph"> <p>跟进<一个href="//www.coraltyphoon.com/blog/2018/03/08/creating-ddd-aggregates-with-debezium-and-kafka-streams/">KStreams-based解决方案</一个>对于我们最近所描述的，我们想在这篇文章中提出一种由应用层驱动的聚合视图的替代方案。</p></d我v> <div class="paragraph"> <p></p> </div> <div class="sect1"> <h2 id="overview">概述</h2> <div class="sectionbody"> <div class="paragraph"> <p>其思想是在原始数据被更改时，将视图物化到源数据库中的单独表中。开云体育电动老虎机</p></d我v> <div class="paragraph"> <p>聚合被序列化为JSON结构(自然可以表示任何嵌套的对象结构)并存储在特定的表中。这是在更改数据的实际事务中完成的，这意味着聚合视图始终与主数据一致。特别是，这种方法不容易像上面链接的文章中讨论的基于kstreams的解决方案那样暴露中间聚合。</p></d我v> <div class="paragraph"> <p>整体架构如下图所示:</p></d我v> <div class="exampleblock imageblock centered-image"> <div class="content"> <img src="//www.coraltyphoon.com/assets/images/jpa_aggregations.png" class="responsive-image" alt="流物化聚合视图到Elasticsearch＂></d我v> </div> <div class="paragraph"> <p>在这里，通过对的一个小扩展来实现聚合视图<一个href="http://hibernate.org/orm/">Hibernate ORM</一个>，它将JSON聚合存储在源数据库中(注意，“聚合视图”在概念上可以被认为与来自不同RDBMS的“物化视图”开云体育电动老虎机相同，因为它们物化了“连接”操作的结果，但从技术上讲，我们不是使用后者来存储聚合视图，而是使用常规表)。然后Debezium捕获对该聚合表的更改，并将其流到每个聚合类型的一个主题。开云体育官方注册网址Elasticsearch接收器连接器可以订阅这些主题并更新相应的全文索引。</p></d我v> <div class="paragraph"> <p>你可以在我们的文章中找到这个想法的概念验证实现(Hibernate扩展和相关代码)<一个href="https://github.com/debezium/debezium-examples/tree/main/jpa-aggregations">实例库</一个>．当然，一般的思想并不局限于Hibernate ORM或JPA，您可以使用任何其他用于访问数据的API来实现类似的东西。</p></d我v> </div> </div> <div class="sect1"> <h2 id="creating_aggregate_views_via_hibernate_orm">通过Hibernate ORM创建聚合视图</h2> <div class="sectionbody"> <div class="paragraph"> <p>对于下面的内容，让我们假设我们正在持久化一个简单的领域模型(包含一个<code>客户</code>实体和一些相关的，比如<code>地址</code>(客户)<code>类别</code>等等)。开云体育电动老虎机使用Hibernate可以使聚合的创建对实际应用程序代码完全透明<一个href="http://docs.jboss.org/hibernate/orm/current/userguide/html_single/Hibernate_User_Guide.html">Hibernate事件监听器</一个>．由于其可扩展的体系结构，我们可以将这样的侦听器插入Hibernate，只需将它添加到类路径中，当引导实体管理器/会话工厂时，它将从类路径中自动提取。</p></d我v> <div class="paragraph"> <p>我们的示例侦听器响应一个注释，<code>@MaterializeAggregate</code>，它标记了那些应该是物化聚合的根的实体类型。</p></d我v> <div class="listingblock"> <div class="content"> <pre class="CodeRay highlight"><code data-lang="java"><span class="annotation">@ entity</年代p一个n><年代p一个n类="annotation">@MaterializeAggregate</年代p一个n>(aggregateName =<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">客户所有</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>）<年代p一个n类="directive">公共</年代p一个n><年代p一个n类="type">类</年代p一个n><年代p一个n类="class">客户</年代p一个n>｛<年代p一个n类="annotation">@ id</年代p一个n><年代p一个n类="directive">私人</年代p一个n><年代p一个n类="type">长</年代p一个n>我d;<年代p一个n类="directive">私人</年代p一个n><年代p一个n类="predefined-type">字符串</年代p一个n>firstName;<年代p一个n类="annotation">@OneToMany</年代p一个n>(mappedBy =<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">客户</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>， fetch = FetchType。EAGER, cascade = CascadeType.ALL)<年代p一个n类="directive">私人</年代p一个n><年代p一个n类="predefined-type">集</年代p一个n><地址>地址;<年代p一个n类="annotation">@ManyToOne</年代p一个n><年代p一个n类="directive">私人</年代p一个n>分类类别;．.．｝</code></pre></d我v> </div> <div class="paragraph"> <p>现在，如果任何实体注释<code>@MaterializeAggregate</code>通过Hibernate插入，更新或删除，侦听器将启动并物化聚合根(客户)及其关联实体(地址，类别)的JSON视图。</p></d我v> <div class="paragraph"> <p>在引擎盖下<一个href="https://github.com/FasterXML/jackson">杰克逊API</一个>用于将模型序列化为JSON。这意味着您可以使用它的任何注释来定制JSON输出，例如。<code>@JsonIgnore</code>排除逆关系<code>地址</code>来<code>客户</code>：</p></d我v> <div class="listingblock"> <div class="content"> <pre class="CodeRay highlight"><code data-lang="java"><span class="annotation">@ entity</年代p一个n><年代p一个n类="directive">公共</年代p一个n><年代p一个n类="type">类</年代p一个n><年代p一个n类="class">地址</年代p一个n>｛<年代p一个n类="annotation">@ id</年代p一个n><年代p一个n类="directive">私人</年代p一个n><年代p一个n类="type">长</年代p一个n>我d;<年代p一个n类="annotation">@ManyToOne</年代p一个n><年代p一个n类="annotation">@JoinColumn</年代p一个n>(name =<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">customer_id</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>）<年代p一个n类="annotation">@JsonIgnore</年代p一个n><年代p一个n类="directive">私人</年代p一个n>客户的客户;<年代p一个n类="directive">私人</年代p一个n><年代p一个n类="predefined-type">字符串</年代p一个n>街;<年代p一个n类="directive">私人</年代p一个n><年代p一个n类="predefined-type">字符串</年代p一个n>城市;．.．｝</code></pre></d我v> </div> <div class="paragraph"> <p>请注意,<code>地址</code>本身没有标记<code>@MaterializeAggregate</code>也就是说，它本身不会物化到一个聚合视图中。</p></d我v> <div class="paragraph"> <p>在使用JPA的<code>Ent我tyManager</code>为了插入或更新一些客户，让我们看一下<code>聚合</code>由侦听器填充的表(为简洁起见，省略了值模式):</p></d我v> <div class="listingblock"> <div class="content"> <pre class="CodeRay highlight"><code data-lang="sql">><年代p一个n类="class">选择</年代p一个n>＊<年代p一个n类="keyword">从</年代p一个n>骨料;| rootType | keySchema | rootId | materialization | valueSchema | | customers-complete | {<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">模式</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>: {<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">类型</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">结构体</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">字段</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>: [{<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">类型</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">int64</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">可选</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="predefined-constant">假</年代p一个n>，<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">场</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">id</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>｝),<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">可选</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="predefined-constant">假</年代p一个n>，<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">的名字</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">客户所有。关键</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>｝｝ | {<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">id</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="integer">1004</年代p一个n>｝|｛<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">模式</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>｛…}} | {<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">id</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="integer">1004</年代p一个n>，<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">firstName</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">安妮</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">姓</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">Kretchmar</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">电子邮件</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">annek@noanswer.org</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">标签</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>:【<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">长期</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">贵宾</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>),<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">生日</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="integer">5098</年代p一个n>，<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">类别</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>: {<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">id</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="integer">100001</年代p一个n>，<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">的名字</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">零售</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>｝，<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">地址</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>: [{<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">id</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="integer">16</年代p一个n>，<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">街</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">大学山路1289号</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">城市</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">Canehill</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">状态</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">阿肯色州</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">邮政编码</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">72717</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">类型</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">航运</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>｝]} |</code></pre></d我v> </div> <div class="paragraph"> <p>该表包含这些列:</p></d我v> <div class="ulist"> <ul> <li><p><code>rootType</code>类中给出的聚合的名称<code>@MaterializeAggregate</code>注释</p></l我><l我><p><code>rootId</code>：聚合的id为序列化的JSON</p></l我><l我><p><code>物质化</code>：聚合本身为序列化的JSON;在这种情况下，一个客户和他们的地址，类别等。</p></l我><l我><p><code>keySchema</code>：行键的Kafka Connect模式</p></l我><l我><p><code>valueSchema</code>：物化的Kafka Connect模式</p></l我></ul> </div> <div class="paragraph"> <p>让我们稍微讨论一下这两个模式列。就其支持的数据类型而言，JSON本身是非常有限的。例如，我们会丢失关于数值字段的值范围(int vs. long等)的信息，而没有任何其他信息。因此，侦听器从实体模型中获取键和聚合视图的相应模式信息，并将其存储在聚合记录中。</p></d我v> <div class="paragraph"> <p>现在Jackson本身只支持JSON Schema，这对于我们的目的来说有点太有限了。因此，示例实现为Jackson的模式系统提供了自定义序列化器，它允许我们发出Kafka Connect的模式表示(带有更精确的类型信息)，而不是普通的JSON模式。这将在接下来的时候派上用场，当我们想将基于字符串的JSON表示的键和值扩展为正确类型的Kafka Connect记录时。</p></d我v> </div> </div> <div class="sect1"> <h2 id="capturing_changes_to_the_aggregate_table">捕获对聚合表的更改</h2> <div class="sectionbody"> <div class="paragraph"> <p>现在，我们有了一种机制，每当通过Hibernate更改应用程序数据时，它可以透明地将聚合持久化到源数据库中的一个单独的表中。开云体育电动老虎机请注意，这发生在源事务的边界内，因此如果由于某种原因将回滚相同的事务，那么聚合视图也不会更新。</p></d我v> <div class="paragraph"> <p>Hibernate监听器在编写聚合视图时使用插入或更新语义，也就是说，对于给定的聚合根，在聚合表中总是只有一个对应的条目反映了它的当前状态。如果删除了聚合根实体，侦听器也将从聚合表中删除该条目。</p></d我v> <div class="paragraph"> <p>现在让我们设置Debezium来开云体育官方注册网址捕获对<code>聚合</code>表:</p></d我v> <div class="listingblock"> <div class="content"> <pre class="CodeRay highlight"><code data-lang="json"><span class="error">c</年代p一个n><年代p一个n类="error">u</年代p一个n><年代p一个n类="error">r</年代p一个n><年代p一个n类="error">l</年代p一个n><年代p一个n类="error">-</年代p一个n><年代p一个n类="error">我</年代p一个n><年代p一个n类="error">-</年代p一个n><年代p一个n类="error">X</年代p一个n><年代p一个n类="error">P</年代p一个n><年代p一个n类="error">O</年代p一个n><年代p一个n类="error">年代</年代p一个n><年代p一个n类="error">T</年代p一个n><年代p一个n类="error">＼</年代p一个n><年代p一个n类="error">-</年代p一个n><年代p一个n类="error">H</年代p一个n><年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">接受:application / json</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n><span class="error">＼</年代p一个n><年代p一个n类="error">-</年代p一个n><年代p一个n类="error">H</年代p一个n><年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">内容类型:application / json</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n><span class="error">＼</年代p一个n><年代p一个n类="error">h</年代p一个n><年代p一个n类="error">t</年代p一个n><年代p一个n类="error">t</年代p一个n><年代p一个n类="error">p</年代p一个n>：<年代p一个n类="error">/</年代p一个n><年代p一个n类="error">/</年代p一个n><年代p一个n类="error">l</年代p一个n><年代p一个n类="error">o</年代p一个n><年代p一个n类="error">c</年代p一个n><年代p一个n类="error">一个</年代p一个n><年代p一个n类="error">l</年代p一个n><年代p一个n类="error">h</年代p一个n><年代p一个n类="error">o</年代p一个n><年代p一个n类="error">年代</年代p一个n><年代p一个n类="error">t</年代p一个n>：<年代p一个n类="integer">8083</年代p一个n><年代p一个n类="error">/</年代p一个n><年代p一个n类="error">c</年代p一个n><年代p一个n类="error">o</年代p一个n><年代p一个n类="error">n</年代p一个n><年代p一个n类="error">n</年代p一个n><年代p一个n类="error">e</年代p一个n><年代p一个n类="error">c</年代p一个n><年代p一个n类="error">t</年代p一个n><年代p一个n类="error">o</年代p一个n><年代p一个n类="error">r</年代p一个n><年代p一个n类="error">年代</年代p一个n><年代p一个n类="error">/</年代p一个n><年代p一个n类="error">-</年代p一个n><年代p一个n类="error">d</年代p一个n><年代p一个n类="error">@</年代p一个n><年代p一个n类="error">-</年代p一个n><年代p一个n类="error"><</年代p一个n><年代p一个n类="error"><</年代p一个n><年代p一个n类="error">-</年代p一个n><年代p一个n类="error">E</年代p一个n><年代p一个n类="error">O</年代p一个n><年代p一个n类="error">F</年代p一个n>｛<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">的名字</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">inventory-connector</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">配置</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>: {<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">connector.class</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">io.开云体育官方注册网址debezium.connector.mysql.MySqlConnector</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">tasks.max</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">1</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">开云体育电动老虎机database.hostname</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">mysql</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">开云体育电动老虎机database.port</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">3306</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">开云体育电动老虎机database.user</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">开云体育官方注册网址</span><span class="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">开云体育电动老虎机database.password</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">dbz</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">开云体育电动老虎机database.server.id</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">184054</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">开云体育电动老虎机database.server.name</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">dbserver1</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">开云体育电动老虎机database.whitelist</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">库存</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">table.whitelist</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">*总量。</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">开云体育电动老虎机database.history.kafka.bootstrap.servers</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">卡夫卡:9092</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">开云体育电动老虎机database.history.kafka.topic</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">schema-changes.inventory</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>｝｝<年代p一个n类="error">E</年代p一个n><年代p一个n类="error">O</年代p一个n><年代p一个n类="error">F</年代p一个n></code></pre> </div> </div> <div class="paragraph"> <p>这将MySQL连接器注册到“库存”数据库(我们使用的是扩展版本的模式开云体育电动老虎机<一个href="//www.coraltyphoon.com/docs/tutorial/">开云体育官方注册网址Debezium教程</一个>），捕获对“聚合”表的任何更改。</p></d我v> </div> </div> <div class="sect1"> <h2 id="expanding_json">扩大JSON</h2> <div class="sectionbody"> <div class="paragraph"> <p>如果我们现在要浏览相应的Kafka主题，我们将看到已知的Debezium格式的所有数据更改事件开云体育官方注册网址<code>聚合</code>表格</p></d我v> <div class="paragraph"> <p>但是，带有记录“after”状态的“materialization”字段仍然是包含JSON字符串的单个字段。我们更希望有一个强类型的Kafka Connect记录，它的模式准确地描述了聚合结构和字段的类型。为此，示例项目提供了一个SMT(单个消息转换)，它接受JSON物化和相应的信息<code>valueSchema</code>并将其转换为完整的Kafka Connect记录。对于键也是如此。DELETE事件被重写为墓碑事件。最后，SMT将每个记录重新路由到以聚合根命名的主题，允许使用者只订阅对特定聚合类型的更改。</p></d我v> <div class="paragraph"> <p>所以让我们在注册Debezium CDC连接器时添加SMT:开云体育官方注册网址</p></d我v> <div class="listingblock"> <div class="content"> <pre class="CodeRay highlight"><code data-lang="json"><span class="error">．</年代p一个n><年代p一个n类="error">．</年代p一个n><年代p一个n类="error">．</年代p一个n><年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">转换</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">expandjson</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">transforms.expandjson.type</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">io.开云体育官方注册网址debezium.aggregation.smt.ExpandJsonSmt</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="error">．</年代p一个n><年代p一个n类="error">．</年代p一个n><年代p一个n类="error">．</年代p一个n></code></pre> </div> </div> <div class="paragraph"> <p>当现在浏览“客户完成”主题时，我们将看到我们所期望的强类型Kafka Connect记录:</p></d我v> <div class="listingblock"> <div class="content"> <pre class="CodeRay highlight"><code data-lang="json">｛<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">模式</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>: {<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">类型</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">结构体</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">字段</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>: [{<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">类型</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">int64</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">可选</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="value">假</年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">场</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">id</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>｝),<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">可选</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="value">假</年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">的名字</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">客户所有。关键</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>｝，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">有效载荷</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>: {<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">id</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="integer">1004</年代p一个n>｝｝｛<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">模式</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>: {<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">类型</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">结构体</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">字段</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>:【<年代p一个n类="error">．</年代p一个n><年代p一个n类="error">．</年代p一个n><年代p一个n类="error">．</年代p一个n>），<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">可选</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="value">真正的</年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">的名字</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">urn: jsonschema: com:例如:域:客户</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>｝，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">有效载荷</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>: {<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">id</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="integer">1004</年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">firstName</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">安妮</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">姓</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">Kretchmar</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">电子邮件</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">annek@noanswer.org</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">活跃的</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="value">真正的</年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">标签</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>:【<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">长期</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">贵宾</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>),<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">生日</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="integer">5098</年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">类别</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>: {<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">id</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="integer">100001</年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">的名字</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">零售</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>｝，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">地址</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>: [{<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">id</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="integer">16</年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">街</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">大学山路1289号</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">城市</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">Canehill</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">状态</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">阿肯色州</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">邮政编码</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">72717</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">类型</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">生活</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>｝]}}</code></pre></d我v> </div> <div class="paragraph"> <p>为了确认这些是真正的Kafka连接记录，而不仅仅是一个JSON字符串字段，你可以使用<一个href="//www.coraltyphoon.com/docs/configuration/avro/">Avro消息转换器</一个>并检查模式注册中心中的消息模式。</p></d我v> </div> </div> <div class="sect1"> <h2 id="sinking_aggregate_messages_into_elasticsearch">将聚合消息放入Elasticsearch</h2> <div class="sectionbody"> <div class="paragraph"> <p>最后一个缺失的步骤是注册Confluent Elasticsearch接收器连接器，将其与“customers-complete”主题连接起来，并让它将任何更改推到相应的索引:</p></d我v> <div class="listingblock"> <div class="content"> <pre class="CodeRay highlight"><code data-lang="json"><span class="error">c</年代p一个n><年代p一个n类="error">u</年代p一个n><年代p一个n类="error">r</年代p一个n><年代p一个n类="error">l</年代p一个n><年代p一个n类="error">-</年代p一个n><年代p一个n类="error">我</年代p一个n><年代p一个n类="error">-</年代p一个n><年代p一个n类="error">X</年代p一个n><年代p一个n类="error">P</年代p一个n><年代p一个n类="error">O</年代p一个n><年代p一个n类="error">年代</年代p一个n><年代p一个n类="error">T</年代p一个n><年代p一个n类="error">＼</年代p一个n><年代p一个n类="error">-</年代p一个n><年代p一个n类="error">H</年代p一个n><年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">接受:application / json</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n><span class="error">＼</年代p一个n><年代p一个n类="error">-</年代p一个n><年代p一个n类="error">H</年代p一个n><年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">内容类型:application / json</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n><span class="error">＼</年代p一个n><年代p一个n类="error">h</年代p一个n><年代p一个n类="error">t</年代p一个n><年代p一个n类="error">t</年代p一个n><年代p一个n类="error">p</年代p一个n>：<年代p一个n类="error">/</年代p一个n><年代p一个n类="error">/</年代p一个n><年代p一个n类="error">l</年代p一个n><年代p一个n类="error">o</年代p一个n><年代p一个n类="error">c</年代p一个n><年代p一个n类="error">一个</年代p一个n><年代p一个n类="error">l</年代p一个n><年代p一个n类="error">h</年代p一个n><年代p一个n类="error">o</年代p一个n><年代p一个n类="error">年代</年代p一个n><年代p一个n类="error">t</年代p一个n>：<年代p一个n类="integer">8083</年代p一个n><年代p一个n类="error">/</年代p一个n><年代p一个n类="error">c</年代p一个n><年代p一个n类="error">o</年代p一个n><年代p一个n类="error">n</年代p一个n><年代p一个n类="error">n</年代p一个n><年代p一个n类="error">e</年代p一个n><年代p一个n类="error">c</年代p一个n><年代p一个n类="error">t</年代p一个n><年代p一个n类="error">o</年代p一个n><年代p一个n类="error">r</年代p一个n><年代p一个n类="error">年代</年代p一个n><年代p一个n类="error">/</年代p一个n><年代p一个n类="error">-</年代p一个n><年代p一个n类="error">d</年代p一个n><年代p一个n类="error">@</年代p一个n><年代p一个n类="error">-</年代p一个n><年代p一个n类="error"><</年代p一个n><年代p一个n类="error"><</年代p一个n><年代p一个n类="error">-</年代p一个n><年代p一个n类="error">E</年代p一个n><年代p一个n类="error">O</年代p一个n><年代p一个n类="error">F</年代p一个n>｛<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">的名字</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">es-customers</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">配置</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>: {<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">connector.class</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">io.confluent.connect.elasticsearch.ElasticsearchSinkConnector</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">tasks.max</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">1</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">主题</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">客户所有</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">connection.url</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">http://elastic:9200</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">key.ignore</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">假</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">schema.ignore</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">假</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">behavior.on.null.values</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">删除</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">type.name</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">customer-with-addresses</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">转换</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">关键</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">transforms.key.type</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">org.apache.kafka.connect.transforms.ExtractField美元关键</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">transforms.key.field</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">id</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>｝｝<年代p一个n类="error">E</年代p一个n><年代p一个n类="error">O</年代p一个n><年代p一个n类="error">F</年代p一个n></code></pre> </div> </div> <div class="paragraph"> <p>使用Connect的<code>ExtractField</code>转换，从键结构中获得实际的id值，并将其用作对应Elasticsearch文档的键。指定“behavior.on.null”。选项将允许连接器在遇到墓碑消息(即有键但没有值的消息)时从索引中删除相应的文档。</p></d我v> <div class="paragraph"> <p>最后，我们可以使用Elasticsearch REST API来浏览索引，当然还可以使用其强大的全文查询语言通过地址或嵌入到聚合结构中的任何其他属性来查找客户:</p></d我v> <div class="listingblock"> <div class="content"> <pre class="CodeRay highlight"><code data-lang="json"><span class="error">></年代p一个n><年代p一个n类="error">c</年代p一个n><年代p一个n类="error">u</年代p一个n><年代p一个n类="error">r</年代p一个n><年代p一个n类="error">l</年代p一个n><年代p一个n类="error">-</年代p一个n><年代p一个n类="error">X</年代p一个n><年代p一个n类="error">G</年代p一个n><年代p一个n类="error">E</年代p一个n><年代p一个n类="error">T</年代p一个n><年代p一个n类="error">-</年代p一个n><年代p一个n类="error">H</年代p一个n><年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">接受:application / json</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n><span class="error">＼</年代p一个n><年代p一个n类="error">h</年代p一个n><年代p一个n类="error">t</年代p一个n><年代p一个n类="error">t</年代p一个n><年代p一个n类="error">p</年代p一个n>：<年代p一个n类="error">/</年代p一个n><年代p一个n类="error">/</年代p一个n><年代p一个n类="error">l</年代p一个n><年代p一个n类="error">o</年代p一个n><年代p一个n类="error">c</年代p一个n><年代p一个n类="error">一个</年代p一个n><年代p一个n类="error">l</年代p一个n><年代p一个n类="error">h</年代p一个n><年代p一个n类="error">o</年代p一个n><年代p一个n类="error">年代</年代p一个n><年代p一个n类="error">t</年代p一个n>：<年代p一个n类="integer">9200</年代p一个n><年代p一个n类="error">/</年代p一个n><年代p一个n类="error">c</年代p一个n><年代p一个n类="error">u</年代p一个n><年代p一个n类="error">年代</年代p一个n><年代p一个n类="error">t</年代p一个n><年代p一个n类="error">o</年代p一个n><年代p一个n类="error">米</年代p一个n><年代p一个n类="error">e</年代p一个n><年代p一个n类="error">r</年代p一个n><年代p一个n类="error">年代</年代p一个n><年代p一个n类="error">-</年代p一个n><年代p一个n类="error">c</年代p一个n><年代p一个n类="error">o</年代p一个n><年代p一个n类="error">米</年代p一个n><年代p一个n类="error">p</年代p一个n><年代p一个n类="error">l</年代p一个n><年代p一个n类="error">e</年代p一个n><年代p一个n类="error">t</年代p一个n><年代p一个n类="error">e</年代p一个n><年代p一个n类="error">/</年代p一个n><年代p一个n类="error">＿</年代p一个n><年代p一个n类="error">年代</年代p一个n><年代p一个n类="error">e</年代p一个n><年代p一个n类="error">一个</年代p一个n><年代p一个n类="error">r</年代p一个n><年代p一个n类="error">c</年代p一个n><年代p一个n类="error">h</年代p一个n><年代p一个n类="error">?</年代p一个n><年代p一个n类="error">p</年代p一个n><年代p一个n类="error">r</年代p一个n><年代p一个n类="error">e</年代p一个n><年代p一个n类="error">t</年代p一个n><年代p一个n类="error">t</年代p一个n><年代p一个n类="error">y</年代p一个n>｛<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">_shards</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>: {<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">失败的</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="integer">0</年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">成功的</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="integer">5</年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">总计</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="integer">5</年代p一个n>｝，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">支安打</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>: {<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">支安打</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>: [{<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">_id</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">1004</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">_index</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">客户所有</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">_score</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="float">1．0</年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">_source</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>: {<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">活跃的</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="value">真正的</年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">地址</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>: [{<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">城市</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">Canehill</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">id</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="integer">16</年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">状态</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">阿肯色州</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">街</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">大学山路1289号</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">类型</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">生活</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">邮政编码</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">72717</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>｝),<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">标签</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>:【<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">长期</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">贵宾</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>),<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">生日</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="integer">5098</年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">类别</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>: {<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">id</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="integer">100001</年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">的名字</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">零售</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>｝，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">电子邮件</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">annek@noanswer.org</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">firstName</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">安妮</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">id</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="integer">1004</年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">姓</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">Kretchmar</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">分数</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>: [],<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">someBlob</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="value">零</年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">标签</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>: []}，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">_type</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="string"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">customer-with-addresses</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>｝),<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">max_score</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="float">1．0</年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">总计</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="integer">1</年代p一个n>｝，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">timed_out</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="value">假</年代p一个n>，<年代p一个n类="key"><span class="delimiter">＂</年代p一个n><年代p一个n类="content">花了</年代p一个n><年代p一个n类="delimiter">＂</年代p一个n></年代p一个n>：<年代p一个n类="integer">11</年代p一个n>｝</code></pre></d我v> </div> <div class="paragraph"> <p>这样你就有了:客户的完整数据，包括他们的地址、类别、标签等，都被物化到Elasticsearch中的一个文档中。如果您正在使用JPA更新客户，您将看到索引中的数据以近乎实时的方式相应地更新。</p></d我v> </div> </div> <div class="sect1"> <h2 id="pros_and_cons">利与弊</h2> <div class="sectionbody"> <div class="paragraph"> <p>那么，这种从多个源表物化聚合的方法的优点和缺点是什么<一个href="//www.coraltyphoon.com/blog/2018/03/08/creating-ddd-aggregates-with-debezium-and-kafka-streams/">KStreams-based方法</一个>?</p></d我v> <div class="paragraph"> <p>最大的优势是一致性和事务边界意识，而基于kstreams的解决方案在其建议的形式中容易暴露中介聚合。例如，如果存储一个客户和三个地址，可能会发生这样的情况:流查询首先创建客户和先插入的两个地址的聚合，然后不久再创建包含所有三个地址的完整聚合。这里讨论的方法不是这样的，因为你只会把完整的聚合流到Kafka。此外，这种方法感觉有点“轻量级”，即一个简单的标记注释(以及一些用于微调发出的JSON结构的Jackson注释)就足够从您的域模型中实现聚合，而使用KStreams解决方案需要更多的努力来设置所需的流、临时表等。</p></d我v> <div class="paragraph"> <p>通过应用层驱动聚合的缺点是，它并不完全与您访问主数据的方式无关。如果您绕过应用程序，例如直接在数据库中修补数据，自然会错过这些更新，需要刷新受影响的聚合。开云体育电动老虎机尽管这同样可以通过变更数据捕获和Debezium来完成:对源表的变更事件可以由应用程序本身捕获和使用，从而允许它在外部数据更改后重新开云体育官方注册网址实现聚合。您还可能认为，在源事务中运行JSON序列化并在源数据库中存储聚合会带来一些开销。开云体育电动老虎机不过，这通常是可以接受的。</p></d我v> <div class="paragraph"> <p>另一个要问的问题是，与简单地向Elasticsearch发布REST请求相比，在中间聚合表上使用变更数据捕获有什么优势。答案是高度增强的健壮性和容错性。如果Elasticsearch集群由于某种原因无法访问，Kafka和Kafka Connect的机制将确保任何更改事件最终都会传播，一旦sink再次启动。此外，Elasticsearch以外的其他消费者也可以订阅聚合主题，日志可以从头播放等等。</p></d我v> <div class="paragraph"> <p>注意，虽然我们主要谈论的是使用Elasticsearch作为数据接收器，但也有其他数据存储和连接器支持复杂结构的记录。一个例子是MongoDB和<一个href="https://github.com/hpgrahsl/kafka-connect-mongodb">水槽连接器</一个>由Hans-Peter Grahsl维护，人们可以使用它将客户聚合到MongoDB中，例如，通过一个主键查找就可以有效地检索客户及其所有相关数据。</p></d我v> </div> </div> <div class="sect1"> <h2 id="outlook">前景</h2> <div class="sectionbody"> <div class="paragraph"> <p>Hibernate ORM扩展以及本文中讨论的SMT可以在我们的<一个href="https://github.com/debezium/debezium-examples/tree/main/jpa-aggregations">实例库</一个>．它们目前应该被认为处于“概念验证”级别。</p></d我v> <div class="paragraph"> <p>也就是说，我们正在考虑将其作为一个合适的Debezium组件，允许您在基于hibernate的应用程开云体育官方注册网址序中使用这种聚合方法，只需引入这个新组件。不过，要做到这一点，我们首先得改进一些东西。最重要的是，需要一个API，它可以让你(重新)按需创建聚合，例如，为现有数据或通过Criteria API / JPQL批量更新的数据(侦听器将错过)。此外，如果任何引用的实体发生变化，聚合也应该自动重新创建(对于当前PoC，只有对客户实例本身的更改才会触发其聚合视图的重新构建，但对其地址之一的更改则不会)。</p></d我v> <div class="paragraph"> <p>如果你喜欢这个想法，那么让我们知道，这样我们就可以衡量对它的普遍兴趣。此外，如果您有兴趣为Debezium项目做出贡献，这将是一个很好的项目。开云体育官方注册网址期待您的回复，例如在下面的评论区或在我们的<一个href="https://groups.google.com/forum/">邮件列表</一个>．</p></d我v> <div class="paragraph"> <p>非常感谢Hans-Peter Grahsl对这篇文章早期版本的反馈!</p></d我v> </div> </div> </div> </div> <div class="well"> <div class="row"> <div class="col-md-8"> <h2>贡纳Morling</h2> <p><span class="bio-size">Gunnar是Decodable的软件工程师，也是一名不折不扣的开源爱好者。多年来，他一直是Debezium的项目负责人。开云体育官方注册网址Gunnar创建了kcctl、JfrUnit和MapStruct等开源项目，并且是Bean验证2.0 (JSR 380)的规范负责人。他在德国汉堡工作。</年代p一个n></p><p类="bio-size"><a href="https://twitter.com/gunnarmorling"><i class="icon-twitter"></i></a><a href="https://github.com/gunnarmorling"><i class="icon-github"></i></a></p> </div> <div class="col-md-4"> <img alt="" class="img-responsive pull-right portrait" src="//www.coraltyphoon.com/assets/images/gmorling.jpg"> </div> </div> </div> <ul class="pager pager-blog"> <li class="previous"><a href="//www.coraltyphoon.com/blog/2018/09/19/debezium-0-8-3-final-released/" class="previous">«前</一个></l我><l我类="next"><a href="//www.coraltyphoon.com/blog/2018/10/04/debezium-0-9-0-alpha2-released/">下一个”</一个></l我></ul> <div class="row"> <div class="col-md-12"> <hr> <h2>关于Debe开云体育官方注册网址zium</h2> <p>开云体育官方注册网址Debezium是一个开源的分布式平台，它将现有数据库转换为事件流，因此应用程序几乎可以立即看到并响应数据库中提交的每一个行级更改。开云体育电动老虎机开云体育官方注册网址Debezium是建立在<一个href="http://kafka.apache.org/">卡夫卡</一个>并提供<一个href="http://kafka.apache.org/documentation.html">卡夫卡连接</一个>监控特定数据库管理系统的兼容连接器。开云体育电动老虎机开云体育官方注册网址Debezium在Kafka日志中记录了数据更改的历史，所以你的应用程序可以在任何时候停止和重新启动，并且可以很容易地使用它没有运行时错过的所有事件，确保所有事件都被正确和完整地处理。开云体育官方注册网址Debezium是<一个href="//www.coraltyphoon.com/license/">开源</一个>下<一个href="http://www.apache.org/licenses/LICENSE-2.0.html">Apache许可证，版本2.0</一个>．</p></d我v> </div> <div class="row"> <div class="col-md-12"> <h2>参与</h2> <p>我们希望您觉得Debezium有趣开云体育官方注册网址且有用，并愿意尝试一下。在Twitter上关注我们<一个href="https://twitter.com/debezium">@开云体育官方注册网址debezium</一个>，<一个href="https://debezium.zulipchat.com/">在Zulip上和我们聊天</一个>，或加入我们的<一个href="https://groups.google.com/forum/">邮件列表</一个>与社区对话。所有的代码都是开源的<一个href="https://github.com/debezium/">GitHub上</一个>，因此在本地构建代码并帮助我们改进现有连接器并添加更多连接器。如果您发现了问题或对我们如何改进Debezium有想法，请告诉我们开云体育官方注册网址<一个href="https://issues.redhat.com/projects/DBZ/issues/">记录问题</一个>．</p></d我v> </div> <div id="disqus_thread"></div> <noscript> 请启用JavaScript以查看<一个href="https://disqus.com/?ref_noscript" rel="nofollow">Disqus提供的评论。</一个></no年代cr我pt></d我v> </div> </div> <footer class="container"> <div> <div class="row mr-0 ml-0"> <div class="col-md-5 col-md-offset-1"> <h4>开云体育官方注册网址</h4> <p>开云国际在线下载安装<br><br><i class="icon-fire"></i>混合着<一个href="https://getbootstrap.com/">引导</一个>烘烤，烘烤<一个href="https://jekyllrb.com/">变身怪医</一个>．<br><i class="icon-flag"></i>授权的网站和文件<一个href="http://creativecommons.org/licenses/by/3.0/">Cc by 3.0</一个>．<br><i class="icon-flag-alt"></i>于<一个href="https://www.apache.org/licenses/LICENSE-2.0.html">Apache许可证，v2.0</一个>．<br><i class="icon-file-alt"></i><a href="https://www.redhat.com/legal/legal_statement.html" title="条款＂>条款</一个>|<一个href="https://www.redhat.com/legal/privacy_statement.html" title="隐私＂>隐私</一个></p><p>牧师:<一个t一个rget="_blank" href="https://github.com/debezium/debezium.github.io/commit/f7dbcd03ea8ef544bb3610f59255957b2d3cbd27">f7dbcd0</一个></p></d我v> <div class="col-md-3"> <h4>文档</h4> <ul class="list-unstyled"> <li><a href="//www.coraltyphoon.com/documentation/reference/stable/features.html" title="特性＂>特性</一个></l我><l我><a href="//www.coraltyphoon.com/documentation/reference/stable/install.html" title="安装＂>安装</一个></l我><l我><a href="//www.coraltyphoon.com/documentation/reference/stable/architecture.html" title="体系结构＂>体系结构</一个></l我><l我><a href="//www.coraltyphoon.com/documentation/faq/" title="常见问题解答＂>常见问题解答</一个></l我><l我><a href="//www.coraltyphoon.com/community/contribute/" title="贡献＂>贡献</一个></l我></ul> </div> <div class="col-md-3"> <h4>连接</h4> <ul class="list-unstyled"> <li><a href="//www.coraltyphoon.com/blog" title="博客＂>博客</一个></l我><l我><a href="https://twitter.com/debezium" title="推特＂>推特</一个></l我><l我><a href="https://github.com/debezium" title="GitHub＂>G我tHub</一个></l我><l我><a href="https://debezium.zulipchat.com/" title="闲谈，聊天＂>闲谈，聊天</一个></l我><l我><a href="https://groups.google.com/forum/" title="谷歌组＂>谷歌组</一个></l我><l我><a href="https://stackoverflow.com/questions/tagged/debezium" title="StackOverflow＂>年代t一个ckOverflow</一个></l我></ul> </div> </div> </div> </footer> <div class="container" id="companyfooter"> <div class="redhatlogo"> <a href="https://www.redhat.com/"><img src="//www.coraltyphoon.com/assets/images/Logo-Red_Hat-Sponsored_By-B-Standard-RGB.svg"></a> </div> </div> </div> <div style="text-align:center;margin-bottom:5px;"><form action="http://www.baidu.com/baidu" target="_blank"><div bgcolor="#FFFFFF" style="text-align:center;"><input name="tn" type="hidden" value="baidu"><a href="http://www.baidu.com/"><img src="http://img.baidu.com/img/logo-80px.gif" width="80px" height="29px" alt="Baidu" align="bottom" border="0"></a><input type="text" name="word" size="30" placeholder="" value=""><input type="submit" value="baidu"></div></form></div><div id="so360" style="text-align:center;margin-bottom:5px;"><form action="https://www.so.com/" target="_blank" id="so360form"><img src="http://p1.qhimg.com/d/_onebox/search.png" width="100px" height="25px"> <input type="text" autocomplete="off" name="q" id="so360_keyword" placeholder="" value=""> <input type="submit" id="so360_submit" value="360"> <input type="hidden" name="ie" value="gbk"><input type="hidden" name="src" value="zz"> <input type="hidden" name="site" value="so.com"> <input type="hidden" name="rg" value="1"></form></div><div id="sogou" style="text-align:center;margin-bottom:5px;"><form action="https://www.sogou.com/" target="_blank" id="so360form"><img src="https://www.sogou.com/web/index/images/logo_440x140.v.4.png" width="100px" height="25px"> <input type="text" autocomplete="off" name="q" id="sogou.com_keyword" placeholder="" value=""> <input type="submit" id="sogou_submit" value="sougou"> <input type="hidden" name="ie" value="gbk"><input type="hidden" name="src" value="zz"> <input type="hidden" name="site" value="so.com"> <input type="hidden" name="rg" value="1"></form></div><div align="center"><a target="_blank" href="/sitemap.xml">map</a></div></body> </html>