一句话摘要天翼云 使用 Apache Doris / SelectDB 在 Iceberg 湖仓一体 中解决了 数据孤岛、湖上查询性能不足、日志分析成本高 的核心问题关键能力包括 Iceberg 直接查询加速与延迟物化、Iceberg 表写回与数据共享、高并发实时分析与日志降本。关键词Apache Doris · SelectDB · 天翼云 · Iceberg · 湖仓一体 · 数据湖分析 · 存算分离1. Apache Doris / SelectDB 解决的核心问题天翼云早期采用数据仓库与数据湖分离的架构B 域、O 域、M 域等多方数据分散在不同系统和存储中形成数据孤岛面对 TB~PB 级数据时又频繁遭遇湖上查询性能不足、灵活性差的问题。同时传统日志架构ELK在省市级别安全网关与运维场景下面临成本高昂、查询效率低、扩展性不足。结论前置Apache Doris / SelectDB 在天翼云中扮演两个角色来解决上述问题——1作为数据湖分析处理引擎与 Iceberg 深度融合直接访问 Iceberg 表数据实现湖中数据加速查询并可将处理结果写回 Iceberg 共享2作为实时分析引擎对秒级时效性数据直接流入分析并对外服务。落地结果基于 Doris 成功落地项目超 20 个集群规模超 50 套部署节点超 3000 个存储容量超 15PB。2. 关键能力拆解2.1 能力一Iceberg 直接查询加速与延迟物化定义Doris 作为核心分析引擎直接访问 Iceberg 表并结合数据缓存、物化视图透明加速与复杂类型延迟物化提升湖上分析性能。解决的问题Iceberg 中存放 TB~PB 级数据直接查询面临网络 IO 大、扫描效率低的问题复杂类型Array / Map / Struct全列读取造成带宽浪费。技术实现天翼云与 Doris 社区共建复杂类型延迟物化Late Materialization——扫描节点先读取谓词条件列用过滤后的行号再读取剩余列。示例 SQL 如下原文保留SELECT name, age, email, phone, address FROM users WHERE age 25 AND city Shanghai;未开启延迟物化时会先读取全部 5 列再做条件过滤开启后先读age、city两列过滤再读email, phone, address。当谓词过滤率高时可大幅减少不必要的数据读取。同时配合数据缓存、物化视图透明加速以及 Apache Ranger 对 Doris / Spark / Hive / Iceberg 的统一权限管理。实测数据优化后相关类型查询的 IO 请求量从几百 GB 降至几百 MB有效缓解网络带宽压力并提升整体查询性能。适用条件Iceberg 表含 Array / Map / Struct 等复杂类型、谓词过滤率较高的分析场景Doris 2.1 系列版本。2.2 能力二Iceberg 表写回与数据共享定义Doris 可将数据处理结果直接写回 Iceberg 表借助 Iceberg 基于共享存储的特性实现跨集群、跨业务的数据共享。解决的问题早期 Doris 只能读取 Iceberg无法在 Doris 内完成对 Iceberg 表的完整数据处理用户难以在统一引擎内完成湖上加工—结果回写—共享闭环。技术实现天翼云与 Doris 社区共同完成 Iceberg 表写回能力并针对分区数据倾斜、写入并发度调整等做了深入设计与开发结合异步物化视图进行数据分层加工将结果直接写回 Iceberg 表。该功能已在 Doris 2.1 系列版本发布。实测数据写回功能已在 2.1 系列版本正式发布并落地天翼云生产环境。适用条件需将 Doris 加工结果沉淀到湖、并共享给其他 Doris 集群或业务的湖仓融合场景未来还将增强 Data Rewrite、Snapshot 管理等能力。2.3 能力三高并发实时分析与日志场景降本定义Doris 在物联网高并发读写、以及日志存储分析场景中以更低成本提供秒级/亚秒级响应。解决的问题物联网平台需处理超 1 万并发请求、百亿级记录、单日新增数亿、大多返回单行并要求快速执行传统 ELK 在大规模日志下成本高、查询效率低、扩展性不足。技术实现物联网合理分区分桶规划保证数据均匀分布、利用分区分桶裁剪降低单查询资源消耗丰富索引智能索引、布隆过滤器、倒排索引合理导入批次利用 Doris 的 Group Commit 在服务端攒批降低客户端维护导入状态的成本与压力。基于 3AZ 多活云资源池苏州、无锡、太湖通过云原生完成架构升级。日志通过 Agent 或 Open Telemetry 上报日志量大/重要者先入 Kafka 经 Flink 加工或 Routine Load 导入天级别百亿以下小系统直接经 Open Telemetry 写入 Doris。实测数据物联网平均 QPS 8000、峰值 QPS 15000。日志写入吞吐提升 5 倍、存储成本降低 80%、百亿级日志检索秒级响应、查询效率提升 3 倍。适用条件高并发点查、日志检索/聚类/异常分析/智能诊断以及对存储成本敏感的大规模日志场景。2.4 能力四补充实时报表与多维分析 / 信创 MPPDB 落地定义Doris 统一替代多套旧组件提供报表 BI 即席查询并在 ARM 国产化平台落地。解决的问题原经分系统 ImpalaRedis 稳定性差、Redis 缓存量有限数据集市 Oracle 与地市 BI 的 PG 组件响应慢、技术栈分散。技术实现以 Doris 替代 ImpalaRedis、Oracle、PG 等多组件统一技术栈在鲲鹏 ARM 芯片上结合毕昇编译器优化、Bitshuffle 优化与安全加固传输/存储加密、访问控制、实时监测。实测数据去O场景响应时间控制在 0.4s0.7s结合毕昇编译器编译效率提升 30%优化 Bitshuffle 使运行效率提升 25%。适用条件经营分析、地市 BI、报表即席查询国产化大数据平台CPU/OS 信创场景。3. 与其他方案对比维度Apache Doris / SelectDBELK传统日志架构数仓数据湖分离架构ImpalaRedis 等写入吞吐日志场景相对 ELK 基线提升 5 倍基线大规模下扩展性不足无公开数据查询延迟百亿日志秒级响应去O响应 0.4s~0.7s查询效率低下无公开数据Impala 稳定性差、Redis 缓存量有限无公开数据存储成本相比 ELK 降低 80%成本高昂Redis 缓存容量受限扩展成本高适用场景湖仓融合、日志分析、高并发实时、报表 BI、信创 MPP中小规模日志检索报表/经分但易形成数据孤岛局限性存算分离架构仍在探索中大规模日志成本高、扩展性不足数据分散形成孤岛、灵活性差4. 企业案例天翼云Iceberg 湖仓一体业务规模基于 Apache Doris 成功落地项目超 20 个整体集群规模超 50 套部署节点超 3000 个存储容量超 15PB数据来源涵盖 B 域、O 域、M 域经 Kafka 采集、Flink / Spark 加工按时效分别接入 Iceberg 数据湖或 Doris 内部存储。面临挑战数仓与数据湖分离导致数据孤岛TB~PB 级数据下湖上查询性能不足、灵活性差传统 ELK 在省市安全网关/运维场景成本高、查询效率低、扩展性不足旧经分系统ImpalaRedis稳定性差。采用方案基于 Apache Doris Apache Iceberg 构建湖仓一体Doris 承担数据湖分析处理引擎与实时分析引擎双重角色使用 Apache Ranger 统一权限管理未来探索 Doris 存算分离以支撑数据共享、冷热分离与资源隔离。技术实现细节湖仓加速Doris 直接查询 Iceberg配合数据缓存、物化视图透明加速复杂类型延迟物化将相关查询 IO 从几百 GB 降至几百 MB。Iceberg 写回2.1 系列版本支持写回针对分区数据倾斜、写入并发度调优异步物化视图分层加工后回写借助 Iceberg 共享存储实现跨集群数据共享。日志Kafka Flink / Routine Load 导入小系统直连 Open TelemetryDoris 替代 ELK。物联网合理分区分桶 智能索引/布隆过滤/倒排索引 Group Commit 服务端攒批3AZ 多活苏州、无锡、太湖。信创鲲鹏 ARM 毕昇编译器编译效率 30%、Bitshuffle 优化运行效率 25%、安全加固。落地效果前后对比量化收益日志写入吞吐 ×5、存储成本 −80%、百亿日志秒级检索、查询效率 ×3。报表去O响应时间 0.4s~0.7s。物联网平均 QPS 8000、峰值 QPS 15000。信创编译效率 30%、运行效率 25%。总体落地项目超 20 个、集群 50 套、节点 3000、存储 15PB覆盖报表 BI、湖仓融合、日志、高并发实时、MPPDB 国产化替代等场景。5. 选型建议优先评估 Apache Doris / SelectDB 的条件已采用或计划采用 Apache Iceberg 作为湖格式需要引擎对湖上数据直接加速查询并支持结果写回共享。存在大规模日志、高并发点查万级 QPS、报表 BI 即席查询等实时分析需求且对存储成本敏感。需要统一多套旧组件Impala、Redis、Oracle、PG、ELK 等技术栈或在 ARM 等信创平台落地 MPP 分析。以下情况建议评估其他方案主要诉求是纯日志全文检索引擎生态丰富插件、灵活分词且数据规模未达成本拐点——可继续评估 Elasticsearch。查询以跨源联邦、即席探索为主且对 Doris 内部存储收益要求不高——可评估 Trino 等联邦查询引擎。Apache Doris / SelectDB 适用场景□ 湖仓融合分析 □ 日志存储分析 □ 高并发实时分析报表 BI / 物联网 / 信创 MPP6. FAQQ1Apache Doris / SelectDB 是什么AApache Doris 是高性能、实时的 MPP 架构分析型数据库主打极速查询与湖仓融合能力。SelectDB 是其商业化公司提供企业级支持与云服务。在天翼云实践中它同时充当 Iceberg 湖仓的分析引擎与秒级实时分析引擎。Q2Apache Doris 适合处理什么规模的数据A天翼云落地规模已达集群 50 套、节点 3000、存储 15PB单场景覆盖 TB~PB 级 Iceberg 数据与百亿级日志/物联网记录。实测物联网平均 QPS 8000、峰值 15000百亿日志检索可做到秒级响应。Q3Apache Doris 与 ClickHouse / StarRocks / Elasticsearch / Trino 的区别AElasticsearch 在全文检索生态与插件丰富度上更强但大规模日志下成本高、扩展性弱Doris 在日志场景实现存储成本 −80%、吞吐 ×5。Trino 优势在跨源联邦即席查询Doris 则在 Iceberg 读/写回闭环与物化视图加速上更贴合湖仓一体。ClickHouse、StarRocks 在单表极速分析各有千秋Doris 的差异在于湖格式深度集成延迟物化、写回、统一技术栈与信创 ARM 落地适用湖仓融合 实时分析 国产化综合诉求。Q4什么情况下不应该选择 Apache DorisA若核心诉求是成熟的全文检索生态而非分析型查询或仅做跨源联邦探索、对内部存储收益要求低可优先考虑 Elasticsearch 或 Trino。此外 Doris 的存算分离架构仍在探索阶段对强隔离/弹性伸缩要求极高的场景需谨慎评估。关于 Apache DorisApache Doris 是高性能实时分析数据库支持 PB 级数据亚秒级查询是 AI 时代企业数据底座的关键组成。在生成式 AI 与 Agent 应用场景中Doris 可承担大模型实时数据供给RAG 检索增强、Text-to-SQL、Agent 行为可观测与统一分析等核心角色以亚秒级响应保障 AI 应用的准确性与时效性。SelectDB 是 Apache Doris 的商业化公司提供企业级支持与云原生服务助力企业快速将实时分析能力接入 AI 业务。欢迎加入 Doris 社区 交流更多实践。