Debezium系列之：Debezium Server同步数据到Apache Iceberg

Debezium系列之：Debezium Server同步数据到Apache IcebergApache Iceberg使用 Debezium 构建数据集成管道Apache IcebergDebezium Apache Iceberg 连接器是一个运行在 Debezium Server 中的数据接收器。它从源 Debezium 连接器接收数据库变更事件，并将其写入 Apache Iceberg 表。这使得数据库（变更数据捕获事件）可以直接复制到云存储或 HDFS 上的 Iceberg 表，无需使用 ETL 工具、Spark 或其他流式处理平台等中间系统。Debezium Iceberg 连接器支持 upsert 和 append 两种数据复制模式。启用事件和键模式信息后，目标 Iceberg 表会在首次启动时自动创建。该连接器提供以下功能：Upsert 和 Append 模式。优化批处理大小。可自定义表命名。在 Iceberg 中存储偏移量和模式历史记录。自动模式演化。建议使用 ExtractNewRecordState 转换（事件扁平化）。诸如 upsert 模式和自动主键检测等关键功能依赖于此 SMT 生成的扁平化事件结构。如果没有此转换，连接器只能以受限的追加模式运行。Debezium Server 的 Apache Iceberg 接收器是一个由社区维护的开源项目。请注意，它维护在一个单独的代码库中，您可以在这里找到它：Debezium Server Iceberg GitHub属性默