计算存储Computational Storage— 让 SSD 自己思考 什么是计算存储Computational Storage计算存储是将计算能力直接嵌入存储设备的技术让数据在存储介质内部就地处理无需将原始数据搬运到 CPU/GPU 再计算。 简单说传统方式是把数据搬到算力旁边计算存储是把算力送到数据旁边。 为什么需要计算存储数据移动的代价正在变得不可承受传统数据处理流程 NAND Flash原始数据 100TB ↓ 读取全部数据带宽瓶颈 PCIe 总线~7 GB/s耗时 ~4 小时 ↓ CPU/GPU 内存处理计算 ↓ 只保留结果可能只有 1GB 写回存储 问题 ├── 99% 的数据传输是无效搬运 ├── PCIe 带宽成为严重瓶颈 ├── CPU/GPU 被简单过滤任务占用 └── 功耗巨大搬运数据比计算更耗电⚡ 计算存储的核心优势计算存储处理流程 NAND Flash原始数据 100TB ↓ 就地过滤/压缩/搜索 存储内置处理器结果 1GB ↓ 只传输结果带宽需求降低 99% PCIe 总线极小数据量 ↓ CPU/GPU直接使用结果 收益 ├── ✅ PCIe 带宽占用降低 99% ├── ✅ 端到端延迟大幅降低 ├── ✅ CPU/GPU 从简单任务中解放 └── ✅ 系统整体功耗下降️ 计算存储架构分类类型一CSDComputational Storage Drive┌─────────────────────────────────────┐ │ 智能 SSDCSD │ │ ┌──────────┐ ┌────────────────┐ │ │ │ NAND │←──→│ 存储处理器 │ │ │ │ Flash │ │ ARM/RISC-V│ │ │ └──────────┘ │ DRAM 缓存 │ │ │ └────────────────┘ │ │ ↕ NVMe / CXL 接口 │ └─────────────────────────────────────┘ 特点 ├── 独立完整的存储计算单元 ├── 标准 NVMe 接口即插即用 └── 每个盘独立处理天然并行类型二CSPComputational Storage Processor独立的计算存储处理器芯片 连接多个普通 SSD 适合需要集中管理多盘的场景类型三CSSComputational Storage Switch在存储交换机层面嵌入计算 适合 NVMe-oF 网络存储场景 典型应用场景场景一数据库查询下推Query PushdownSQL: SELECT * FROM orders WHERE amount 10000 传统方式 读取整张表1TB→ PCIe → CPU 过滤 → 返回结果1MB 数据搬运1TB ❌ 计算存储方式 SSD 内部执行 WHERE 过滤 → 只传输结果1MB 数据搬运1MB ✅ 性能提升100~1000x取决于过滤比例场景二AI 推理预处理原始图片数据JPEG1TB ↓ 存储内部完成 解码 → 归一化 → Resize → Tensor 转换 ↓ 只传输处理好的 Tensor GPU 直接训练/推理无需 CPU 预处理 收益 ├── GPU 利用率接近 100% └── 预处理延迟归零场景三数据压缩 / 加密写入路径 主机数据 → SSD 内部压缩/加密 → 写入 NAND ├── 有效容量提升压缩比 2~5x └── 数据安全加密在盘内完成 读取路径 NAND → SSD 内部解压/解密 → 主机 ├── PCIe 传输的是原始大小数据 └── 主机 CPU 零压缩/加密开销场景四向量搜索AI 时代杀手级应用向量数据库场景RAG、语义搜索 传统 加载所有向量到内存TB 级→ CPU/GPU 计算相似度 内存需求极大延迟高 计算存储 SSD 内部 ANNS近似最近邻搜索 只返回 Top-K 结果 ├── 内存需求降低 100x └── 搜索延迟降低 10x 计算存储 vs 传统架构性能对比场景1TB 数据集1% 过滤率 指标 传统 NVMe 计算存储 CSD ───────────────────────────────────────────── PCIe 数据传输量 1,000 GB 10 GB↓99% 端到端延迟 ~150 秒 ~3 秒↓98% CPU 占用率 ~80% ~5%↓94% 系统功耗 高 低↓40% NVMe 计算存储标准SNIA存储网络行业协会正在推进计算存储标准标准状态内容SNIA CSx已发布 v2.0计算存储架构定义NVMe CSx 命令集开发中NVMe 扩展命令支持计算任务下发CXL CS探索阶段CXL 语义下的计算存储访问模型 计算存储的未来图景2025~2030 存储演进路线图 现在 SSD 高速数据容器 近期2025~2027 SSD 数据容器 轻量计算过滤/压缩/加密 中期2027~2030 SSD 数据容器 AI 推理加速 向量搜索 远期2030 存储 计算连续体的一部分 与 CXL、近内存计算、光子互联融合 一句话总结计算存储颠覆了数据必须搬到 CPU 才能处理的传统假设——当 SSD 拥有了思考的能力数据移动的瓶颈被釜底抽薪AI 时代海量数据的处理效率将迎来质的飞跃。
计算存储Computational Storage— 让 SSD 自己思考 什么是计算存储Computational Storage计算存储是将计算能力直接嵌入存储设备的技术让数据在存储介质内部就地处理无需将原始数据搬运到 CPU/GPU 再计算。 简单说传统方式是把数据搬到算力旁边计算存储是把算力送到数据旁边。 为什么需要计算存储数据移动的代价正在变得不可承受传统数据处理流程 NAND Flash原始数据 100TB ↓ 读取全部数据带宽瓶颈 PCIe 总线~7 GB/s耗时 ~4 小时 ↓ CPU/GPU 内存处理计算 ↓ 只保留结果可能只有 1GB 写回存储 问题 ├── 99% 的数据传输是无效搬运 ├── PCIe 带宽成为严重瓶颈 ├── CPU/GPU 被简单过滤任务占用 └── 功耗巨大搬运数据比计算更耗电⚡ 计算存储的核心优势计算存储处理流程 NAND Flash原始数据 100TB ↓ 就地过滤/压缩/搜索 存储内置处理器结果 1GB ↓ 只传输结果带宽需求降低 99% PCIe 总线极小数据量 ↓ CPU/GPU直接使用结果 收益 ├── ✅ PCIe 带宽占用降低 99% ├── ✅ 端到端延迟大幅降低 ├── ✅ CPU/GPU 从简单任务中解放 └── ✅ 系统整体功耗下降️ 计算存储架构分类类型一CSDComputational Storage Drive┌─────────────────────────────────────┐ │ 智能 SSDCSD │ │ ┌──────────┐ ┌────────────────┐ │ │ │ NAND │←──→│ 存储处理器 │ │ │ │ Flash │ │ ARM/RISC-V│ │ │ └──────────┘ │ DRAM 缓存 │ │ │ └────────────────┘ │ │ ↕ NVMe / CXL 接口 │ └─────────────────────────────────────┘ 特点 ├── 独立完整的存储计算单元 ├── 标准 NVMe 接口即插即用 └── 每个盘独立处理天然并行类型二CSPComputational Storage Processor独立的计算存储处理器芯片 连接多个普通 SSD 适合需要集中管理多盘的场景类型三CSSComputational Storage Switch在存储交换机层面嵌入计算 适合 NVMe-oF 网络存储场景 典型应用场景场景一数据库查询下推Query PushdownSQL: SELECT * FROM orders WHERE amount 10000 传统方式 读取整张表1TB→ PCIe → CPU 过滤 → 返回结果1MB 数据搬运1TB ❌ 计算存储方式 SSD 内部执行 WHERE 过滤 → 只传输结果1MB 数据搬运1MB ✅ 性能提升100~1000x取决于过滤比例场景二AI 推理预处理原始图片数据JPEG1TB ↓ 存储内部完成 解码 → 归一化 → Resize → Tensor 转换 ↓ 只传输处理好的 Tensor GPU 直接训练/推理无需 CPU 预处理 收益 ├── GPU 利用率接近 100% └── 预处理延迟归零场景三数据压缩 / 加密写入路径 主机数据 → SSD 内部压缩/加密 → 写入 NAND ├── 有效容量提升压缩比 2~5x └── 数据安全加密在盘内完成 读取路径 NAND → SSD 内部解压/解密 → 主机 ├── PCIe 传输的是原始大小数据 └── 主机 CPU 零压缩/加密开销场景四向量搜索AI 时代杀手级应用向量数据库场景RAG、语义搜索 传统 加载所有向量到内存TB 级→ CPU/GPU 计算相似度 内存需求极大延迟高 计算存储 SSD 内部 ANNS近似最近邻搜索 只返回 Top-K 结果 ├── 内存需求降低 100x └── 搜索延迟降低 10x 计算存储 vs 传统架构性能对比场景1TB 数据集1% 过滤率 指标 传统 NVMe 计算存储 CSD ───────────────────────────────────────────── PCIe 数据传输量 1,000 GB 10 GB↓99% 端到端延迟 ~150 秒 ~3 秒↓98% CPU 占用率 ~80% ~5%↓94% 系统功耗 高 低↓40% NVMe 计算存储标准SNIA存储网络行业协会正在推进计算存储标准标准状态内容SNIA CSx已发布 v2.0计算存储架构定义NVMe CSx 命令集开发中NVMe 扩展命令支持计算任务下发CXL CS探索阶段CXL 语义下的计算存储访问模型 计算存储的未来图景2025~2030 存储演进路线图 现在 SSD 高速数据容器 近期2025~2027 SSD 数据容器 轻量计算过滤/压缩/加密 中期2027~2030 SSD 数据容器 AI 推理加速 向量搜索 远期2030 存储 计算连续体的一部分 与 CXL、近内存计算、光子互联融合 一句话总结计算存储颠覆了数据必须搬到 CPU 才能处理的传统假设——当 SSD 拥有了思考的能力数据移动的瓶颈被釜底抽薪AI 时代海量数据的处理效率将迎来质的飞跃。
)
