尧图网站建设 
MiniMax-M3 EAGLE3 推测解码压测分析A800 上到底快多少文章目录MiniMax-M3 EAGLE3 推测解码压测分析A800 上到底快多少一 为什么要测 EAGLE3二 测试方法三 吞吐与延迟结果3.1 有 EAGLE33.2 无 EAGLE3四 EAGLE3 加速效果对比五 结论六 每路 60 tok/s 的并发上限七 选型建议八 总结mini-max-m3-mxfp8-v-llm-a800-deployment gitee仓库一 为什么要测 EAGLE3MiniMax-M3 官方在发布时提到配合 EAGLE3 推测解码可以显著降低延迟。但 EAGLE3 本身会占用一部分显存和 KV 预算而且草稿模型接受的 token 最终都要目标模型验证——高并发时未必有收益。本文在 8×A800 上对比“有 EAGLE3”和“无 EAGLE3”两种部署的实际吞吐与延迟。二 测试方法硬件8× NVIDIA A800 80GB模型MiniMax-M3-MXFP8vLLMvllm/vllm-openai:v0.26.0已含 #49149 修复原始数据基于 v0.25.1-m3patch行为一致TP8max-model-len65536EAGLE3 对照组统一用 64K避免 KV 差异过大压测脚本bench.py每个并发度持续 35–45 秒Prompt中文短文生成max_tokens128temperature0.7# 有 EAGLE3bashdeploy.sh python3 bench.py1,2,4,8,16,32,64,128450.7# 无 EAGLE3bashdeploy_noeagle3.sh python3 bench.py1,2,4,8,16450.7三 吞吐与延迟结果3.1 有 EAGLE3并发吞吐 (tok/s)QPS平均延迟p50p95失败183.00.651.54s1.54s1.73s02137.71.081.81s1.80s1.99s04209.81.642.38s2.36s2.78s08313.02.453.22s3.16s3.69s016400.03.144.94s4.74s7.70s032459.93.618.55s7.01s14.98s064703.85.5210.91s10.83s13.84s0128924.37.2516.90s16.60s22.73s03.2 无 EAGLE3并发吞吐 (tok/s)QPS平均延迟p50p95失败159.60.472.14s2.15s2.15s0292.50.732.75s2.76s2.78s04174.41.372.90s2.81s3.93s08308.22.423.28s3.31s3.39s016475.83.734.27s4.28s4.39s0四 EAGLE3 加速效果对比并发有 EAGLE3无 EAGLE3提升183.059.639%2137.792.549%4209.8174.420%8313.0308.22%16400.0475.8-16%五 结论EAGLE3 的设计定位是“低并发、低延迟”实测非常符合这个定位低并发≤4收益明显并发 2 时提速 49%延迟从 2.75s 降到 1.81s。高并发≥8收益衰减并发 16 时反而比不用 EAGLE3 慢 16%。原因很好理解高并发下目标模型本身已经是吞吐瓶颈EAGLE3 草稿模型占用额外 KV 和计算草稿接受的 token 最终都要目标模型验证省下的 decode 步数被验证开销抵消。官方 SPEED-Bench 说平均接受长度约 2.8我在通用中文场景含思考文本、temp0.7下测得约 2.24–2.28略低。六 每路 60 tok/s 的并发上限很多线上场景更关心“每路用户体验”而不是总吞吐。我用stream_measure.py测量了每路端到端 tok/s并发temp0.7 每路 tok/stemp0.0 每路 tok/s268.6 ✅79.0 ✅351.1 ❌61.0 ✅452.7 ❌57.9 ❌结论要保≥60 tok/s/路温度 0.7 时上限2 并发贪心解码temp0时上限3 并发。七 选型建议场景推荐配置低延迟在线对话1-4 并发开 EAGLE3延迟低 20-49%高吞吐离线批处理≥8 并发不开 EAGLE3总吞吐更高省显存128K 长上下文开 EAGLE3 需配合VLLM_MEMORY_PROFILER_ESTIMATE_CUDAGRAPHS0八 总结EAGLE3在 A800 MiniMax-M3 上“低并发起飞、高并发拖累”的特征很明显。建议根据实际并发水位做 A/B 测试必要时同时维护两套部署配置。上一篇《vLLM #49149 补丁A800 上 MiniMax-M3 batch1 崩溃排查与修复》下一篇《MiniMax-M3 on A800部署、Bug 修复与压测完整复盘》 MiniMax-M3 EAGLE3 推测解码压测分析：A800 上到底快多少？
MiniMax-M3 EAGLE3 推测解码压测分析A800 上到底快多少文章目录MiniMax-M3 EAGLE3 推测解码压测分析A800 上到底快多少一 为什么要测 EAGLE3二 测试方法三 吞吐与延迟结果3.1 有 EAGLE33.2 无 EAGLE3四 EAGLE3 加速效果对比五 结论六 每路 60 tok/s 的并发上限七 选型建议八 总结mini-max-m3-mxfp8-v-llm-a800-deployment gitee仓库一 为什么要测 EAGLE3MiniMax-M3 官方在发布时提到配合 EAGLE3 推测解码可以显著降低延迟。但 EAGLE3 本身会占用一部分显存和 KV 预算而且草稿模型接受的 token 最终都要目标模型验证——高并发时未必有收益。本文在 8×A800 上对比“有 EAGLE3”和“无 EAGLE3”两种部署的实际吞吐与延迟。二 测试方法硬件8× NVIDIA A800 80GB模型MiniMax-M3-MXFP8vLLMvllm/vllm-openai:v0.26.0已含 #49149 修复原始数据基于 v0.25.1-m3patch行为一致TP8max-model-len65536EAGLE3 对照组统一用 64K避免 KV 差异过大压测脚本bench.py每个并发度持续 35–45 秒Prompt中文短文生成max_tokens128temperature0.7# 有 EAGLE3bashdeploy.sh python3 bench.py1,2,4,8,16,32,64,128450.7# 无 EAGLE3bashdeploy_noeagle3.sh python3 bench.py1,2,4,8,16450.7三 吞吐与延迟结果3.1 有 EAGLE3并发吞吐 (tok/s)QPS平均延迟p50p95失败183.00.651.54s1.54s1.73s02137.71.081.81s1.80s1.99s04209.81.642.38s2.36s2.78s08313.02.453.22s3.16s3.69s016400.03.144.94s4.74s7.70s032459.93.618.55s7.01s14.98s064703.85.5210.91s10.83s13.84s0128924.37.2516.90s16.60s22.73s03.2 无 EAGLE3并发吞吐 (tok/s)QPS平均延迟p50p95失败159.60.472.14s2.15s2.15s0292.50.732.75s2.76s2.78s04174.41.372.90s2.81s3.93s08308.22.423.28s3.31s3.39s016475.83.734.27s4.28s4.39s0四 EAGLE3 加速效果对比并发有 EAGLE3无 EAGLE3提升183.059.639%2137.792.549%4209.8174.420%8313.0308.22%16400.0475.8-16%五 结论EAGLE3 的设计定位是“低并发、低延迟”实测非常符合这个定位低并发≤4收益明显并发 2 时提速 49%延迟从 2.75s 降到 1.81s。高并发≥8收益衰减并发 16 时反而比不用 EAGLE3 慢 16%。原因很好理解高并发下目标模型本身已经是吞吐瓶颈EAGLE3 草稿模型占用额外 KV 和计算草稿接受的 token 最终都要目标模型验证省下的 decode 步数被验证开销抵消。官方 SPEED-Bench 说平均接受长度约 2.8我在通用中文场景含思考文本、temp0.7下测得约 2.24–2.28略低。六 每路 60 tok/s 的并发上限很多线上场景更关心“每路用户体验”而不是总吞吐。我用stream_measure.py测量了每路端到端 tok/s并发temp0.7 每路 tok/stemp0.0 每路 tok/s268.6 ✅79.0 ✅351.1 ❌61.0 ✅452.7 ❌57.9 ❌结论要保≥60 tok/s/路温度 0.7 时上限2 并发贪心解码temp0时上限3 并发。七 选型建议场景推荐配置低延迟在线对话1-4 并发开 EAGLE3延迟低 20-49%高吞吐离线批处理≥8 并发不开 EAGLE3总吞吐更高省显存128K 长上下文开 EAGLE3 需配合VLLM_MEMORY_PROFILER_ESTIMATE_CUDAGRAPHS0八 总结EAGLE3在 A800 MiniMax-M3 上“低并发起飞、高并发拖累”的特征很明显。建议根据实际并发水位做 A/B 测试必要时同时维护两套部署配置。上一篇《vLLM #49149 补丁A800 上 MiniMax-M3 batch1 崩溃排查与修复》下一篇《MiniMax-M3 on A800部署、Bug 修复与压测完整复盘》