由于操作数据通常驻留在关系数据库或NoSQL数据存储中，问题是如何将数据传播到数据湖中。开云体育电动老虎机这就是开云体育官方注册网址Debezium服务器冰山基于Debezium和Apache Iceberg，它开云体育官方注册网址允许您处理来自源数据库的实时数据更改事件，并将它们上传到Iceberg支持的任何对象存储。开云体育电动老虎机让我们仔细看看这两个项目。

开云体育官方注册网址是一个用于变更数据捕获的开源分布式平台。开云体育官方注册网址Debezium从数据库的事务日志中提取更改事件，并通过事开云体育电动老虎机件流平台将其交付给消费者，使用不同的格式，如JSON、Apache Avro、谷歌Protocol Buffers等。大多数时候，Debezium与Apa开云体育官方注册网址che Kafka和Kafka Connect一起使用。但是通过Debe开云体育官方注册网址zium服务器，其他消息基础设施(如Kinesis、谷歌Pub/Sub、Pulsar)的用户也可以受益于Debezium的变更数据捕获功能。这里你可以看到目前支持的目的地．

Apache的冰山是一个“大型分析数据集的开放表格格式”。冰山为包括Spark、Trino、PrestoDB、Flink和Hive在内的计算引擎添加了表格，使用高性能的表格格式，就像SQL表一样。”它支持ACID插入以及行级删除和更新。它提供了一个Java API来管理表元数据，比如模式和分区规范，以及存储表数据的数据文件。

阿帕奇冰山有一个概念数据和删除文件．数据文件是Iceberg在后台用来保存实际数据的文件。删除文件是对现有数据文件中删除的行进行编码的不可变文件。这就是Iceberg如何在不重写文件的情况下删除/替换不可变数据文件中的单个行。在Debezium服务器冰山的开云体育官方注册网址情况下，这些是不可变的Apache拼花文件，这种格式被设计为“与基于行文件(如CSV或TSV文件)相比，高效且高性能的平柱状数据存储格式”。

开云体育官方注册网址Debezium服务器提供了一个SPI实现新的接收器适配器，这是用于创建Apache Iceberg消费者的扩展点。

冰山使用者将CDC更改事件转换为冰山数据文件，并使用冰山Java API将它们提交到目标表。它将每个Debezium源开云体育官方注册网址主题映射到目标冰山表。

当没有找到给定的冰山目标表时，使用者使用变更事件模式创建它。此外，事件模式用于将更改事件本身映射到等效的Iceberg记录。正因为如此，开云体育官方注册网址debezium.format.value.schemas.enable必须设置配置选项。一旦Debeziu开云体育官方注册网址m更改事件被记录到冰山记录中，模式就会从数据中删除。

在较高的级别上，更改事件处理如下。对于每批接收到的事件:

下面是一个使用Debezium Server和Iceberg适配器的完整配置示例:开云体育官方注册网址

默认情况下，冰山使用者以upsert模式运行(开云体育官方注册网址debezium.sink.iceberg.upsert设置为真正的)．这意味着当源表中的行被更新时，目标行将被新的更新版本替换。当一行从源中删除时，它也会从目标中删除。使用upsert模式时，目标数据与源数据保持一致。upsert模式使用Iceberg相等删除特性，并使用Debezium更改数据事件的键(源自源表的主键)创建删除文件。开云体育官方注册网址为了避免重复数据，每批都执行重复数据删除，只保留记录的最后一个版本。例如，在单个事件批处理中，相同的记录可能出现两次:一次是在插入时，另一次是在更新时。使用upsert模式，记录的最后一个提取版本总是存储在Iceberg中。

注意，当源表没有定义主键，并且也没有其他方式可用的键信息(例如，在Debezium中定义的唯一键或自定义消息键)时，使用者使用开云体育官方注册网址附加此表的模式(见下文)。

开云体育官方注册网址Debezium实时提取并交付数据库事件，开云体育电动老虎机这可能会导致对Iceberg中的表过于频繁的提交，从而生成过多的小文件。这对于批处理来说并不是最优的，特别是当接近实时的数据提要足够多时。为了避免这个问题，可以增加每次提交的批处理大小。

启用MaxBatchSizeWait模式下，Iceberg消费者使用Debezium度量来优化批处理开云体育官方注册网址大小。它周期性地检索Debezium内部事件队列的当前大小，并等待直到达到开云体育官方注册网址max.batch.size．在等待期间，Debezium事件被收集到内存开云体育官方注册网址中(在Debezium的内部队列中)。这样，每次提交(处理的事件集)处理更多的记录和一致的批处理大小。最大等待和检查间隔是通过开云体育官方注册网址debezium.sink.batch.batch-size-wait.max-wait-ms而且开云体育官方注册网址debezium.sink.batch.batch-size-wait.wait-interval-ms属性。这些设置应该与Debezium的设置一起配置开云体育官方注册网址开云体育官方注册网址debezium.source.max.queue.size而且开云体育官方注册网址debezium.source.max.batch.size属性。

下面是所有相关设置的示例:

至此，数据湖的原始层已经加载，包括重复数据删除和接近实时的管道特性。在顶部构建策划层(有时称为分析层或数据仓库层)变得非常直接和简单。在分析层，准备原始数据以满足分析需求;通常原始数据会被重新组织、清理、版本化(参见下面的示例)、聚合，并且可能会应用业务逻辑。通过可伸缩的处理引擎使用SQL是进行这种数据转换的最常用方法。

例如，有人可以很容易地使用火花SQL(或PrestoDB, Trino, Flink等)加载一个慢慢改变维度，最常用的数据仓库表类型:

额外的数据湖层可能需要定期使用新数据进行更新。最简单的方法是使用SQL更新或删除语句。这些SQL操作也是冰山支持：

基于Debeziu开云体育官方注册网址m和Apache Iceberg，开云体育官方注册网址Debezium服务器冰山为您的数据湖设置低延迟的数据摄取管道非常简单。该项目完全开源，使用Apache 2.0许可证。开云体育官方注册网址Debezium Server Iceberg仍然是一个年轻的项目，还有很多需要改进的地方。请随时测试它，给予反馈，开放功能请求或发送拉请求。您可以看到更多的示例，并开始使用Iceberg和Spark进行试验这个项目．