在以大语言模型LLM、多模态大模型和具身智能为代表的新一轮人工智能浪潮中AI 应用的竞争本质上演变成了底座算力规模与工程效率的竞争。当集群规模从数百卡扩展至数万卡乃至十万卡级别时系统的瓶颈早已超越了单卡算力本身演变为涵盖算力、网络、存储、调度与供电散热的复杂系统工程。搭建一套高可用、高利用率且具备弹性扩展能力的 AI 基础设施AI Infrastructure是当前所有智算中心、互联网大厂与 AI 原生企业面临的核心工程挑战。1. 算力范式转移AI 基础设施的核心矛盾传统的云计算基础设施Cloud Native主要面向微服务、高并发 Web 请求以及事务型数据库其核心设计目标是弹性隔离、高并发与高吞吐 IO。而 AI Native 基础设施则面向大规模并行计算与千亿参数模型的分布式训练其技术特征表现为高密算力、极低时延网络通信与巨量数据吞吐。在构建 AI 基础设施时宏观设计必须解决以下四大“基础设施墙”算力墙Compute Wall单芯片物理工艺趋近极限摩尔定律放缓必须通过大规模并行集群Tensor Parallel, Pipeline Parallel, Data Parallel, Expert Parallel来堆叠算力。通信墙Communication Wall分布式训练中集群内卡间通信开销巨大。如果网络带宽不足或时延过高GPU 将长时间处于等待数据的“空转Bubble”状态。存储墙Memory Storage Wall显存容量HBM增速远跟不上模型参数增长速度同时海量训练数据的随机读取与TB级别的 Checkpoint 快照读写对存储系统提出了极高的 IOPS 与吞吐要求。可靠性墙Reliability Wall万卡集群下硬件故障如 GPU 显存 ECC 错、网络丢包、光模块损坏成为常态集群的平均无故障时间MTBF缩短至小时级极度考验系统的故障自愈与断点续训能力。2. AI 基础设施全栈宏观架构图解为了应对上述挑战现代 AI 基础设施需要采用分层解耦、协同优化的全栈架构设计。从物理数据中心到算法框架整体架构可划分为五层----------------------------------------------------------------------- | L4 算法工程与框架层 (Megatron-LM, DeepSpeed, vLLM, TensorRT-LLM) | ----------------------------------------------------------------------- | L3 集群调度与算力平台层 (KubeFlow, Ray, 拓扑感知调度, 故障自愈) | ----------------------------------------------------------------------- | L2 分级高性能存储层 (NVMe Local Cache, 并行文件系统, 对象存储 S3) | ----------------------------------------------------------------------- | L1 极低时延网络互联层 (Scale-up NVLink/NVSwitch Scale-out RDMA) | ----------------------------------------------------------------------- | L0 异构算力与硬件基础设施层 (GPU/NPU, 高密服务器, 液冷数据中心) | -----------------------------------------------------------------------3. L0 与 L1算力集群与网络拓扑宏观设计算力与网络是智算中心最昂贵的资产也是决定分布式训练效率MFU, Model Flops Utilization的基础。3.1 机柜级与集群级双域架构Scale-up 与 Scale-out大规模 AI 集群网络设计必须将通信划分为两个互联域Scale-up 域机柜/节点内拓扑解决单服务器内部多卡之间的高宽带互联问题。通过专用高速总线如 NVLink、NVSwitch 或国产芯片私有总线连接提供高达数百 GB/s 至数 TB/s 的双向互联带宽专为张量并行TP与专家并行EP等高频通信场景打造。Scale-out 域节点间集群拓扑解决节点与节点之间的万卡扩展问题。基于 RDMA远程直接内存访问技术构建横向扩展网络专为数据并行DP与流水线并行PP场景打造。3.2 智算集群网络技术路线对比在 Scale-out 域目前主要存在两种主流的 RDMA 高速网络构建路线InfiniBandIB与RoCE v2RDMA over Converged Ethernet。评估维度InfiniBand无限带宽技术RoCE v2增强型无损以太网协议与生态专有协议生态由单一厂商主导开放以太网标准如 UEC 联盟推进网络时延极低硬件级 credit-based 流控低依赖 PFC 与 ECN 拥塞控制运维门槛相对简单闭环自动化程度高较高需要调优 PFC 丢包与死锁防范设备成本昂贵专用网卡、交换机与光纤相对较低兼容通用以太网基础设施大规模扩展性极佳常用于顶级超算集群极佳广泛应用于互联网数据中心3.3 经典网络拓扑拓扑形态为了保证万卡集群下任意节点间通信无阻塞集群网络通常采用以下拓扑设计胖树拓扑Fat-Tree经典的无阻塞Non-blocking多层架构。采用 Spine-Leaf骨干-叶两层或三层交换架构确保任意节点间均提供 1:1 的线速收敛比。轨优化网络Rail-Optimized Topology专为大模型训练优化的拓扑。将不同节点上相同 GPU 序号如所有节点的 GPU 0划分在同一个 Leaf 交换机下使数据并行DP或流水线并行PP的通信流量限定在特定的“轨道”内大幅减少跨交换机调度的冲突。4. L2高性能分级存储与数据流水线设计大模型训练对存储系统的要求与传统大数据或 Web 系统截然不同。数据存储需要同时应对海量小文件高并发读取与巨型快照文件瞬间高吞吐写入的双重挑战。4.1 AI 训练中的两大存储瓶颈数据集读取瓶颈Data Ingestion预训练过程涉及数 TB 至数 PB 的多模态或文本数据集。如果在每个 Epoch 训练时出现数据加载延迟GPU 将陷入 I/O Wait。Checkpoint 写入瓶颈Model Checkpoint千亿参数模型及优化器状态快照通常高达数千 GB。如果写入存储需要几十分钟不仅浪费算力还会导致训练频繁中断。4.2 三级分级存储架构体系生产环境中标准的设计是构建“本地缓存 - 并行存储 - 容量存储”的三级分级存储体系------------------------------------------------------------------ | L1 本地极速层: NVMe SSD / GPU Direct Storage (GDS) | | 作用: 存储当前 Batch 训练数据实现微秒级本地读取 | ------------------------------------------------------------------ ▲ │ 动态预取与缓存同步 ▼ ------------------------------------------------------------------ | L2 共享并行层: 分布式并行文件系统 (Lustre / JuiceFS / WekaIO) | | 作用: 支撑 TB/s 级 Checkpoint 瞬间并发落盘与数据集高速读取 | ------------------------------------------------------------------ ▲ │ 异步冷热数据归档 ▼ ------------------------------------------------------------------ | L3 底座海量层: 企业级对象存储 (S3 / HDFS) | | 作用: 长期持久化存储原始清洗数据集、历史 Checkpoint 与日志文件 | ------------------------------------------------------------------4.3 Checkpoint 优化机制为了将 Checkpoint 写入导致的训练停顿降低到秒级宏观架构中必须集成以下机制异步写与写时复制Copy-on-Write模型状态首先快速写入宿主机内存或本地 NVMe SSD随后由后台线程异步同步至分布式文件系统使训练进程能够立即恢复。GPU 直连存储GDS, GPU Direct Storage绕过 CPU 与系统内存让数据通过 PCIe 总线直接在 GPU 显存与 NVMe SSD 之间传输大幅降低 CPU 负载并提升吞吐。5. L3集群调度、资源池化与故障自愈平台即使拥有顶级的算力硬件如果缺乏高效的调度软件系统集群的实际利用率也会极其低下。调度平台是智算中心的“操作系统”。5.1 拓扑感知调度Topology-Aware Scheduling传统的 Kubernetes 调度器通常只关注节点级别的 CPU、内存和 GPU 数量。而在 AI 场景下调度器必须具备硬件拓扑感知能力节点内亲和性优先将需要频繁通信的容器如同一个 TP 组调度到同一台物理机上确保其通过 NVLink 进行通信。节点间亲和性在万卡集群中优先将同一个训练作业的 Pod 调度到同一个 Leaf 交换机或同一个 Rack 机柜下避免跨 Spine 交换机通信引发的网络拥塞。5.2 故障自动化感知与断点续训闭环万卡集群日常运行中硬件坏卡、网络掉线是常态。一套成熟的 AI 调度平台必须建立自动化故障自愈闭环[硬件/网络监控模块] │ ▼ (发现节点故障/显存 ECC 错) [节点隔离与健康剔除 (Cordon Drain)] │ ▼ [自动触发重调度 (Reschedule)] │ ▼ [加载最近一次有效 Checkpoint] │ ▼ [恢复训练任务 (Resume Training)]全流程需实现无人工干预将故障恢复时间从小时级压缩至 10 分钟以内。5.3 算力虚拟化与池化切分与复用并非所有 AI 任务都需要整卡或多卡资源如模型开发调试、数据预处理、小模型推理。通过vGPU、MIG多实例 GPU以及算力内存切分技术调度平台能够将单张物理 GPU 划分为多个虚拟实例提升中小型任务和推理场景下的资源利用率。6. 生产环境建设方案与工程 Trade-off在落地建设智算中心时架构师必须在性能、成本、复杂度与未来演进路线之间做出权衡。6.1 核心技术栈选型对比矩阵下表总结了 AI 基础设施各层级的典型选型方案与适用场景架构层级方案选项 A (高性能/大厂方案)方案选项 B (中等规模/高性价比)选型权衡点 (Trade-off)网络层InfiniBand (NDR/HDR)RoCE v2 (无损以太网)IB 性能极佳但成本极高RoCE 成本较低但依赖精细化网络调优。存储层商业并行存储 (WekaIO / Lustre)开源云原生存储 (JuiceFS S3)专有并行存储读写吞吐极高但成本高昂开源方案弹性好且易运维。调度层Kubernetes KubeFlow / RaySlurm 经典 HPC 调度器Kubernetes 生态丰富、云原生兼容好Slurm 在纯 HPC 计算任务下极其轻量高效。散热层液冷技术 (冷板式 / 浸没式)高密风冷 智能风道液冷 PUE 低 (通常小于 1.15) 适合高密机柜但初始建设成本高风冷适合旧机房改造。6.2 算力利用率MFU评估体系衡量 AI 基础设施整体效率的核心指标是MFUModel Flops Utilization模型浮点运算利用率。其计算逻辑如下MFU (训练单步实际执行的浮点运算次数 / 单步耗时) / (集群理论峰值浮点算力)低水平基础设施MFU 通常在 25% ~ 35% 之间大量算力浪费在网络等待、存储 I/O 阻塞和故障恢复上。顶尖工程级基础设施通过全栈联合优化MFU 可达到 55% ~ 65% 以上。对于万卡集群而言MFU 提升 10% 意味着直接节省数千万元的算力成本。7. AI 基础设施的未来演进趋势随着模型规模迈向万亿参数乃至通用人工智能AGIAI 基础设施层正在孕育新的技术变革光互联与 CPO 技术Co-Packaged Optics随着电信号传输瓶颈显现硅光子与 CPO 技术将光模块直接封装在芯片旁边能显著降低机柜间通信功耗并提升带宽。存算一体与 CXL 内存池化通过 CXLCompute Express Link协议实现集群级内存/显存共享与池化破除单卡 HBM 显存容量限制。绿色低碳与 AI 运维AIOps液冷将从“可选”变为高密智算中心的“必选”同时利用 AI 模型实时预测硬件故障与动态调节集群能耗将成为智算中心标准配置。结语AI 基础设施层的宏观架构设计绝非简单的硬件堆砌而是一个涵盖芯片、网络、存储、软件调度与物理数据中心的高维系统工程。只有通过自下而上的全栈协同设计消除每一个层级的性能梗阻才能真正释放智算集群的极致算力为大模型与 AI 应用的爆发式增长提供稳如磐石的技术底座。
在以大语言模型LLM、多模态大模型和具身智能为代表的新一轮人工智能浪潮中AI 应用的竞争本质上演变成了底座算力规模与工程效率的竞争。当集群规模从数百卡扩展至数万卡乃至十万卡级别时系统的瓶颈早已超越了单卡算力本身演变为涵盖算力、网络、存储、调度与供电散热的复杂系统工程。搭建一套高可用、高利用率且具备弹性扩展能力的 AI 基础设施AI Infrastructure是当前所有智算中心、互联网大厂与 AI 原生企业面临的核心工程挑战。1. 算力范式转移AI 基础设施的核心矛盾传统的云计算基础设施Cloud Native主要面向微服务、高并发 Web 请求以及事务型数据库其核心设计目标是弹性隔离、高并发与高吞吐 IO。而 AI Native 基础设施则面向大规模并行计算与千亿参数模型的分布式训练其技术特征表现为高密算力、极低时延网络通信与巨量数据吞吐。在构建 AI 基础设施时宏观设计必须解决以下四大“基础设施墙”算力墙Compute Wall单芯片物理工艺趋近极限摩尔定律放缓必须通过大规模并行集群Tensor Parallel, Pipeline Parallel, Data Parallel, Expert Parallel来堆叠算力。通信墙Communication Wall分布式训练中集群内卡间通信开销巨大。如果网络带宽不足或时延过高GPU 将长时间处于等待数据的“空转Bubble”状态。存储墙Memory Storage Wall显存容量HBM增速远跟不上模型参数增长速度同时海量训练数据的随机读取与TB级别的 Checkpoint 快照读写对存储系统提出了极高的 IOPS 与吞吐要求。可靠性墙Reliability Wall万卡集群下硬件故障如 GPU 显存 ECC 错、网络丢包、光模块损坏成为常态集群的平均无故障时间MTBF缩短至小时级极度考验系统的故障自愈与断点续训能力。2. AI 基础设施全栈宏观架构图解为了应对上述挑战现代 AI 基础设施需要采用分层解耦、协同优化的全栈架构设计。从物理数据中心到算法框架整体架构可划分为五层----------------------------------------------------------------------- | L4 算法工程与框架层 (Megatron-LM, DeepSpeed, vLLM, TensorRT-LLM) | ----------------------------------------------------------------------- | L3 集群调度与算力平台层 (KubeFlow, Ray, 拓扑感知调度, 故障自愈) | ----------------------------------------------------------------------- | L2 分级高性能存储层 (NVMe Local Cache, 并行文件系统, 对象存储 S3) | ----------------------------------------------------------------------- | L1 极低时延网络互联层 (Scale-up NVLink/NVSwitch Scale-out RDMA) | ----------------------------------------------------------------------- | L0 异构算力与硬件基础设施层 (GPU/NPU, 高密服务器, 液冷数据中心) | -----------------------------------------------------------------------3. L0 与 L1算力集群与网络拓扑宏观设计算力与网络是智算中心最昂贵的资产也是决定分布式训练效率MFU, Model Flops Utilization的基础。3.1 机柜级与集群级双域架构Scale-up 与 Scale-out大规模 AI 集群网络设计必须将通信划分为两个互联域Scale-up 域机柜/节点内拓扑解决单服务器内部多卡之间的高宽带互联问题。通过专用高速总线如 NVLink、NVSwitch 或国产芯片私有总线连接提供高达数百 GB/s 至数 TB/s 的双向互联带宽专为张量并行TP与专家并行EP等高频通信场景打造。Scale-out 域节点间集群拓扑解决节点与节点之间的万卡扩展问题。基于 RDMA远程直接内存访问技术构建横向扩展网络专为数据并行DP与流水线并行PP场景打造。3.2 智算集群网络技术路线对比在 Scale-out 域目前主要存在两种主流的 RDMA 高速网络构建路线InfiniBandIB与RoCE v2RDMA over Converged Ethernet。评估维度InfiniBand无限带宽技术RoCE v2增强型无损以太网协议与生态专有协议生态由单一厂商主导开放以太网标准如 UEC 联盟推进网络时延极低硬件级 credit-based 流控低依赖 PFC 与 ECN 拥塞控制运维门槛相对简单闭环自动化程度高较高需要调优 PFC 丢包与死锁防范设备成本昂贵专用网卡、交换机与光纤相对较低兼容通用以太网基础设施大规模扩展性极佳常用于顶级超算集群极佳广泛应用于互联网数据中心3.3 经典网络拓扑拓扑形态为了保证万卡集群下任意节点间通信无阻塞集群网络通常采用以下拓扑设计胖树拓扑Fat-Tree经典的无阻塞Non-blocking多层架构。采用 Spine-Leaf骨干-叶两层或三层交换架构确保任意节点间均提供 1:1 的线速收敛比。轨优化网络Rail-Optimized Topology专为大模型训练优化的拓扑。将不同节点上相同 GPU 序号如所有节点的 GPU 0划分在同一个 Leaf 交换机下使数据并行DP或流水线并行PP的通信流量限定在特定的“轨道”内大幅减少跨交换机调度的冲突。4. L2高性能分级存储与数据流水线设计大模型训练对存储系统的要求与传统大数据或 Web 系统截然不同。数据存储需要同时应对海量小文件高并发读取与巨型快照文件瞬间高吞吐写入的双重挑战。4.1 AI 训练中的两大存储瓶颈数据集读取瓶颈Data Ingestion预训练过程涉及数 TB 至数 PB 的多模态或文本数据集。如果在每个 Epoch 训练时出现数据加载延迟GPU 将陷入 I/O Wait。Checkpoint 写入瓶颈Model Checkpoint千亿参数模型及优化器状态快照通常高达数千 GB。如果写入存储需要几十分钟不仅浪费算力还会导致训练频繁中断。4.2 三级分级存储架构体系生产环境中标准的设计是构建“本地缓存 - 并行存储 - 容量存储”的三级分级存储体系------------------------------------------------------------------ | L1 本地极速层: NVMe SSD / GPU Direct Storage (GDS) | | 作用: 存储当前 Batch 训练数据实现微秒级本地读取 | ------------------------------------------------------------------ ▲ │ 动态预取与缓存同步 ▼ ------------------------------------------------------------------ | L2 共享并行层: 分布式并行文件系统 (Lustre / JuiceFS / WekaIO) | | 作用: 支撑 TB/s 级 Checkpoint 瞬间并发落盘与数据集高速读取 | ------------------------------------------------------------------ ▲ │ 异步冷热数据归档 ▼ ------------------------------------------------------------------ | L3 底座海量层: 企业级对象存储 (S3 / HDFS) | | 作用: 长期持久化存储原始清洗数据集、历史 Checkpoint 与日志文件 | ------------------------------------------------------------------4.3 Checkpoint 优化机制为了将 Checkpoint 写入导致的训练停顿降低到秒级宏观架构中必须集成以下机制异步写与写时复制Copy-on-Write模型状态首先快速写入宿主机内存或本地 NVMe SSD随后由后台线程异步同步至分布式文件系统使训练进程能够立即恢复。GPU 直连存储GDS, GPU Direct Storage绕过 CPU 与系统内存让数据通过 PCIe 总线直接在 GPU 显存与 NVMe SSD 之间传输大幅降低 CPU 负载并提升吞吐。5. L3集群调度、资源池化与故障自愈平台即使拥有顶级的算力硬件如果缺乏高效的调度软件系统集群的实际利用率也会极其低下。调度平台是智算中心的“操作系统”。5.1 拓扑感知调度Topology-Aware Scheduling传统的 Kubernetes 调度器通常只关注节点级别的 CPU、内存和 GPU 数量。而在 AI 场景下调度器必须具备硬件拓扑感知能力节点内亲和性优先将需要频繁通信的容器如同一个 TP 组调度到同一台物理机上确保其通过 NVLink 进行通信。节点间亲和性在万卡集群中优先将同一个训练作业的 Pod 调度到同一个 Leaf 交换机或同一个 Rack 机柜下避免跨 Spine 交换机通信引发的网络拥塞。5.2 故障自动化感知与断点续训闭环万卡集群日常运行中硬件坏卡、网络掉线是常态。一套成熟的 AI 调度平台必须建立自动化故障自愈闭环[硬件/网络监控模块] │ ▼ (发现节点故障/显存 ECC 错) [节点隔离与健康剔除 (Cordon Drain)] │ ▼ [自动触发重调度 (Reschedule)] │ ▼ [加载最近一次有效 Checkpoint] │ ▼ [恢复训练任务 (Resume Training)]全流程需实现无人工干预将故障恢复时间从小时级压缩至 10 分钟以内。5.3 算力虚拟化与池化切分与复用并非所有 AI 任务都需要整卡或多卡资源如模型开发调试、数据预处理、小模型推理。通过vGPU、MIG多实例 GPU以及算力内存切分技术调度平台能够将单张物理 GPU 划分为多个虚拟实例提升中小型任务和推理场景下的资源利用率。6. 生产环境建设方案与工程 Trade-off在落地建设智算中心时架构师必须在性能、成本、复杂度与未来演进路线之间做出权衡。6.1 核心技术栈选型对比矩阵下表总结了 AI 基础设施各层级的典型选型方案与适用场景架构层级方案选项 A (高性能/大厂方案)方案选项 B (中等规模/高性价比)选型权衡点 (Trade-off)网络层InfiniBand (NDR/HDR)RoCE v2 (无损以太网)IB 性能极佳但成本极高RoCE 成本较低但依赖精细化网络调优。存储层商业并行存储 (WekaIO / Lustre)开源云原生存储 (JuiceFS S3)专有并行存储读写吞吐极高但成本高昂开源方案弹性好且易运维。调度层Kubernetes KubeFlow / RaySlurm 经典 HPC 调度器Kubernetes 生态丰富、云原生兼容好Slurm 在纯 HPC 计算任务下极其轻量高效。散热层液冷技术 (冷板式 / 浸没式)高密风冷 智能风道液冷 PUE 低 (通常小于 1.15) 适合高密机柜但初始建设成本高风冷适合旧机房改造。6.2 算力利用率MFU评估体系衡量 AI 基础设施整体效率的核心指标是MFUModel Flops Utilization模型浮点运算利用率。其计算逻辑如下MFU (训练单步实际执行的浮点运算次数 / 单步耗时) / (集群理论峰值浮点算力)低水平基础设施MFU 通常在 25% ~ 35% 之间大量算力浪费在网络等待、存储 I/O 阻塞和故障恢复上。顶尖工程级基础设施通过全栈联合优化MFU 可达到 55% ~ 65% 以上。对于万卡集群而言MFU 提升 10% 意味着直接节省数千万元的算力成本。7. AI 基础设施的未来演进趋势随着模型规模迈向万亿参数乃至通用人工智能AGIAI 基础设施层正在孕育新的技术变革光互联与 CPO 技术Co-Packaged Optics随着电信号传输瓶颈显现硅光子与 CPO 技术将光模块直接封装在芯片旁边能显著降低机柜间通信功耗并提升带宽。存算一体与 CXL 内存池化通过 CXLCompute Express Link协议实现集群级内存/显存共享与池化破除单卡 HBM 显存容量限制。绿色低碳与 AI 运维AIOps液冷将从“可选”变为高密智算中心的“必选”同时利用 AI 模型实时预测硬件故障与动态调节集群能耗将成为智算中心标准配置。结语AI 基础设施层的宏观架构设计绝非简单的硬件堆砌而是一个涵盖芯片、网络、存储、软件调度与物理数据中心的高维系统工程。只有通过自下而上的全栈协同设计消除每一个层级的性能梗阻才能真正释放智算集群的极致算力为大模型与 AI 应用的爆发式增长提供稳如磐石的技术底座。
