做大模型私有化部署和调用公有云 API 完全是两回事。这次给深圳某科技公司落地智谱 GLM-5.2需要把模型跑在公司内网把接口交付给企业知识库、客服系统和办公助手使用同时还要保证响应速度、并发能力和可维护性。整个项目推进下来真正的难点不在于敲出一条启动命令而在于把硬件、驱动、推理框架、网关和应用层串成一条完整的交付链路。下面按一次真实私有化部署项目的推进顺序来写。先从需求和算力规划讲起再进入驱动、容器、模型获取、vLLM 推理服务、OpenAI 兼容接口、Dify 接入、压测调优和生产化改造最后给出私有化部署中最容易踩的坑和排查清单。适合负责模型推理部署的工程师、偏运维的 AI 平台同事以及准备把大模型落地到企业内网但还没有形成完整方法论的团队参考。1. 私有化部署前先理清需求、算力和架构1.1 私有化部署和公有云 API 调用本质不同公有云 API 的特点是省事已经有人把模型服务、负载均衡、故障转移都做好了调用方只需要关心业务。但代价是对话数据要经过公网企业无法完全控制日志留存范围长期高频调用也会产生持续的费用。私有化部署则把模型权重、推理进程和请求日志全部放在企业自己的服务器上。数据不出内网模型调用方式可以自定义在 token 用量非常大时成本更可控。但需要团队自己承担 GPU 硬件、驱动、容器、监控、版本升级和故障恢复的工作。智谱 GLM-5.2 这类模型的私有化部署价值就在这里企业可以像运营一套内部基础设施一样运营大模型服务。不是所有场景都适合私有化。如果业务刚起步、调用量不高、上线时间很紧使用公有云 API 先把流程跑通往往更合理。私有化更适合企业知识库、客服助手、研发辅助以及金融、医疗、政务等对数据出境有严格要求的场景。1.2 需求口径并发、响应和上下文长度部署前先要收集一组需求数字而不是先决定买几块显卡。需要确认的问题至少包括企业内预计活跃用户数高峰时段并发请求数。单次请求平均输入 token 数量和输出 token 数量。是否支持多轮对话单轮上下文最长可能到多少。业务对首 token 延迟的容忍度比如客服机器人可能要求 2 秒内开始返回。是否有批量处理任务比如夜间跑文档分类或知识库索引这类任务对延迟不敏感但对吞吐有要求。有了需求才能倒推算力。一个粗略的估算思路是高峰时每秒请求数乘以平均输出 token 数得到模型需要支撑的生成吞吐。例如高峰每秒 10 个请求每个请求平均输出 500 token模型生成吞吐至少需要每秒 5000 token这还不包含输入 prefill 和排队损耗。再结合单卡能跑出的生成速度就能知道需要几张卡。注意不要只看单卡跑单个请求有多快。并发上去后请求会排队系统真正重要的是稳定吞吐和尾延迟。1.3 硬件选型显存、算力和外设GPU 显存是选型时最直观的约束。模型权重占用的显存可以用公式估算模型权重显存 ≈ 模型参数量 × 每个参数占的字节数BF16/FP16 精度下每个参数约占 2 字节FP8 约 1 字节INT4 量化约 0.5 字节。但运行态并不是只有权重还需要给 KV Cache 和激活值预留空间。所以不要卡着权重大小买显存至少要预留 1.5 到 2 倍空间。在确认 GLM-5.2 的具体参数量时要以模型发布方提供的模型卡为准不要照搬网上非官方数据。硬件选型时可以参考下面的表格作为规划起点配置项最低建议生产建议原因GPU 显存模型权重的 1.5 倍以上模型权重的 2 倍以上KV Cache、激活值、CUDA context 都需要显存