发布时间:2026/7/19 0:06:17
大模型推理 Prefill-Decode 分离架构深度解析:从 Monolithic 到 Disaggregated Serving 的全栈架构演进与生产实践 核心痛点:现代 LLM 推理把 Prefill(处理完整 prompt、并行填充 KV Cache)与 Decode(自回归逐 token 生成、显存带宽密集)强行塞进同一组 GPU,由同一调度器…
一、我们想解决什么问题 先想一个很常见的场景。 你打开相册,想把一张照片放大看看细节,你会怎么操作?大多数人第一反应是——两根手指在屏幕上捏一下,图片就放大了。再仔细看某个局部,就再捏一下;看完了想…
前几天跟朋友聊天,我说现在的 AI 越来越像个“只会敲键盘的实习生”——你让它写个文案、做个表格还行,但真要让它帮你在现实里点杯咖啡、打个车,它就抓瞎了。不过,这事儿最近正在悄悄起变化。我注意到一个挺有意思的现象…