【CarbonData】如何利用 CarbonData 的谓词下推（Predicate Pushdown）和列裁剪（Column Pruning）优化查询？

CarbonData 谓词下推与列裁剪深度解析：从源头扼杀无效 I/O用户问题原文：“如何利用 CarbonData 的谓词下推（Predicate Pushdown）和列裁剪（Column Pruning）优化查询？”本文将面向具备丰富大数据生态经验但初次接触 Apache CarbonData 的中高级工程师，深入剖析谓词下推（Predicate Pushdown）和列裁剪（Column Pruning）这两大基石级查询优化技术。我们将从供应链库存优化的真实场景出发，系统性地拆解其在 Spark Catalyst 优化器中的集成机制、在 CarbonData 存储引擎中的落地实现，并通过可复现的代码示例和量化分析，助你掌握在生产环境中将查询性能提升数倍甚至数十倍的核心方法。1. 问题引入：当“全表扫描”成为常态在全球零售巨头的供应链系统中，supply_chain_inventory表记录了所有仓库中每个 SKU 的实时库存状态，数据量达百亿级别。表结构如下：warehouse_id(STRING): 仓库ID。sku_id(STRING): 商品SKU ID。