前言本次介绍两个在交付中常见的GPU问题各位小伙伴也可以留言提出你在生产环境遇到的GPU问题可针对问题进行讨论问题思考 1混合集群GPU 节点 普通 CPU 节点如何避免无 GPU 的服务器部署 Operator 组件痛点Operator 默认所有节点都会部署 DaemonSet纯 CPU 节点会启动 driver、dcgm-exporter 等 Pod驱动 Pod 反复 Crash产生大量告警日志严重干扰运维排查。解决方案nodeSelector 节点标签调度生产标准方案1、给所有 GPU 节点打上专属标签CPU 节点不打标签kubectl label node gpu-node01 gputrue kubectl label node gpu-node02 gputrue2、安装 Operator 时给每一个 DaemonSet 增加 nodeSelector限定只在gputrue节点运行helm install gpu-operator nvidia/gpu-operator -n gpu-operator --create-namespace \ --set driver.nodeSelector.gputrue \ --set toolkit.nodeSelector.gputrue \ --set devicePlugin.nodeSelector.gputrue \ --set gfd.nodeSelector.gputrue \ --set dcgmExporter.nodeSelector.gputrue部署完成后所有组件 Pod 只会调度到带gputrue标签的节点普通 CPU 节点不会产生任何 Operator Pod彻底消除告警。拓展最佳实践还可以给 GPU 节点增加污点隔离普通业务 Pod避免在线业务抢占昂贵显卡资源GPU 任务配置容忍度 tolerations 才能调度上去。问题思考 2GPU Operator 如何在公有云 GPU 云服务器上使用关键前提阿里云、腾讯云、AWS 云 GPU 虚拟机宿主机镜像已经预装了 NVIDIA 驱动和 nvidia-container-toolkit。 如果直接使用默认配置安装 Operator会重复部署驱动与 runtime造成冲突、报错。云主机部署原则关闭 driver 与 toolkit只保留资源上报、硬件发现、监控Helm 安装命令示例helm install gpu-operator nvidia/gpu-operator -n gpu-operator --create-namespace \ --set driver.enabledfalse \ --set toolkit.enabledfalse \ --set devicePlugin.enabledtrue \ --set gfd.enabledtrue \ --set dcgmExporter.enabledtrue \ --set devicePlugin.nodeSelector.gputrue \ --set gfd.nodeSelector.gputrue \ --set dcgmExporter.nodeSelector.gputrue云环境只保留三大能力1.Device‑Plugin向 K8s 上报 GPU 资源2.GFD自动打上显卡型号标签实现异构调度3.DCGM‑Exporter采集 GPU 监控指标做资源利用率治理。不要强行开启 driver 和 toolkit云厂商接管宿主机驱动层我们只负责 K8s 集群层面的资源管理。常见误区总结1、误区GPU Operator 可以调度 AI 任务✅纠正只负责暴露 GPU 资源调度交给 Volcano。2、误区云主机直接全套默认安装✅纠正云环境关闭 driver、toolkit避免冲突。3、误区混合集群直接默认部署✅纠正必须配置 nodeSelector限制组件仅在 GPU 节点运行。4、误区装完驱动容器就能使用 GPU✅纠正缺少 nvidia-container-runtime容器依然无法识别显卡。5、误区GFD 可有可无✅纠正GFD 生成硬件标签是异构 GPUA100/T4 混合集群调度的基础。