轻量推理引擎的背压应该放在批处理之前推理服务并发升高后排队通常发生在预处理、批组装或执行后端。只增加异步任务数量会让等待占用更多内存却不会提升硬件吞吐。先定义资源单位把一次请求拆成输入缓冲、KV Cache、执行工作区和输出缓冲。不同序列长度的任务成本不同队列不应只按请求个数计费。可以为任务记录估算成本再按租户和后端设置总预算。背压早于批处理入口先校验长度并尝试获取容量许可拿不到就返回忙或进入有期限的等待。批处理器只从已获许可的请求中组批避免为了凑批而无限延长旧请求。取消信号需要同时清理队列位置和资源许可。用可重复负载找拐点固定模型、硬件、线程和输入分布逐步增加到达率分别记录排队、执行、拒绝和内存。拐点只代表该配置不是推理引擎的永久上限。背压不是降低性能而是让超出预算的请求尽早得到明确结果。系统守住内存边界后续优化算子才有稳定基线。