摘要缓存是降低推理成本最直接的手段之一命中一次成本几乎归零。但它也是最容易被做错的组件——缓存了不该缓存的内容省钱的同时悄悄降低了质量阈值设错命中率好看而用户投诉上升。本文拆解从精确匹配到语义匹配的三层缓存、相似度阈值的标定方法、必须禁止缓存的四类请求以及决定命中率的真实因素。2026 奇点智能技术大会11 月 20-21 日 · 北京万达文华酒店将讨论 AI 工程实践与成本治理。一、三层缓存从严格到宽松层级匹配方式命中条件风险适用精确缓存请求内容完全一致最严格无语义风险模板化请求归一化缓存去除无关差异后一致较严格低格式差异多的场景语义缓存嵌入相似度超过阈值宽松中到高问答类、容错高的场景精确缓存最安全但命中率通常很低——用户很少两次输入完全相同的文本。归一化缓存是性价比最高的一层去除大小写、空格、标点差异对字段名排序往往能显著提升命中率且不引入语义风险。这一层常被跳过直接从精确跳到语义是常见失误。语义缓存潜力最大风险也最高。它的核心难题是相似不等于相同。二、语义缓存的真实风险语义缓存失效时表现不是报错而是给了个差不多但不对的答案。三类典型事故事故一否定句被当成肯定句。这个功能支持吗与这个功能不支持吗在嵌入空间里非常接近语义却相反。事故二数值差异被忽略。2024 年的数据与2025 年的数据文本高度相似答案完全不同。涉及数值、日期、版本号的请求语义缓存风险极高。事故三上下文不同但问题相同。同一句话在不同用户的上下文里含义不同。如果缓存键不包含上下文标识就会串味。defsafe_to_cache(request,threshold,hit):缓存安全判断相似度只是必要条件还要过这几道关。ifhit.similaritythreshold:returnFalseifcontains_numbers_or_dates(request):returnFalse# 含数值/日期不进语义缓存ifrequest.has_negation!hit.has_negation:returnFalse# 否定极性不同拒绝复用ifrequest.context_id!hit.context_id:returnFalse# 上下文不同拒绝复用returnTrue这几道关卡看起来繁琐但每一条都对应一类真实事故。语义缓存的门槛宁可高一些——少命中几次只是没省钱错命中一次就是质量事故。三、阈值怎么标定阈值不能拍脑袋。推荐流程第一步收集真实请求对。从历史流量中取若干请求对人工标注答案是否可以复用。第二步计算相似度分布。对标注为可复用与不可复用的两组分别统计相似度分布。第三步选一个保守阈值。通常取不可复用组的相似度上分位数作为下限宁高勿低。第四步上线后持续抽检。随机抽取命中请求人工检查答案是否合适。这一步不能省它是发现阈值漂移的唯一手段。阈值标定标注 → 分布 → 取保守值 → 上线抽检 ↑ 宁可低命中率不要错命中四、四类必须禁止缓存的请求含个人数据的请求缓存会跨用户泄露这是安全事故而非质量问题需要实时信息的请求股票价格、库存状态、新闻类问题生成类且要求多样性的请求缓存会让输出变得千篇一律带随机性参数的请求温度不为零时结果本就不确定缓存会掩盖这一点第一类是最严重的个人数据进入共享缓存等于把 A 用户的信息返回给 B 用户。缓存设计里隐私检查应当作为硬拦截而不是可选项。五、决定命中率的真实因素很多团队期望语义缓存带来 30% 以上的命中率实际往往只有个位数。原因通常是其一请求本身重复度低。如果业务是开放域问答重复本来就少缓存空间有限。其二前缀变化。多轮对话里每轮都带完整历史即使新问题相同整体文本也不同。解决办法是只对新增部分做匹配而不是整段匹配。其三参数分散。不同调用方用不同的 temperature、top_p导致缓存键不同。应当先统一参数再谈缓存。判断缓存是否值得做的简单方法统计一周内精确重复与归一化后重复的请求占比。如果这个比例很低语义缓存的收益大概率也不高。六、失效策略缓存内容的有效期如何定三种策略按时间失效简单但可能缓存过期信息也可能过早丢弃仍有价值的结果。按事件失效知识更新、模型换代、提示词变更时主动清空。这是最重要的一条——提示词改了而缓存没清用户会拿到旧逻辑生成的结果。按访问频率淘汰常规的 LRU/LFU用于容量控制。必备的主动失效触发点 · 提示词模板变更 · 模型版本变更 · 知识库更新 · 工具定义变更第三项最容易被遗漏知识库更新后缓存仍在系统就会持续给出基于旧知识的答案而且看起来一切正常。七、缓存的容量与淘汰设计语义缓存的容量规划常被忽略直到缓存把内存吃满。三个设计要点。要点一容量按条目数与总 token 双重限制。只限制条目数会存进大量长文本只限制 token 会被大量短条目占满索引。两个上限都要有。要点二淘汰要综合考虑时效与价值。单纯 LRU 会保留频繁但低价值的条目。更好的做法是结合命中频率、重建成本与新鲜度加权。要点三索引要能持久化。重启后缓存全丢会让系统在恢复期承受全额成本与延迟。索引持久化能显著改善重启后的表现。classCachePolicy:缓存容量与淘汰双重上限 加权淘汰。def__init__(self,max_entries,max_tokens):self.max_entriesmax_entries self.max_tokensmax_tokensdefevict_score(self,entry,now):# 命中频率越高、重建成本越高、越新 → 越该保留freqentry.hits/max(1,(now-entry.created)/3600)returnfreq*entry.rebuild_cost*(0.5**((now-entry.last_hit)/86400))八、读者问答问缓存命中率多少算好取决于业务。模板化场景可以做到 30% 以上开放问答通常在个位数。把目标定得过高会导致阈值放松进而引发质量事故。问缓存要不要跨用户共享对通用知识类问题可以对任何含个人信息或上下文的请求绝对不行。判断标准是这条请求的内容是否与特定用户绑定。问如何发现缓存串味在缓存条目里记录调用方标识并定期抽检命中记录检查是否存在跨调用方命中。这是唯一可靠的发现手段。问缓存对延迟的影响命中时延迟大幅下降未命中时增加一次检索开销。建议做异步检索——先尝试精确匹配未命中再走语义检索避免语义检索阻塞主链路。九、缓存与提示词工程的协同缓存效果与提示词设计密切相关两者应当一起考虑。其一是把可变部分与固定部分分离。提示词里的动态内容时间、用户标识、上下文如果混在开头会让几乎所有请求都不同。把固定模板放在前面、动态内容放在后面能显著提升前缀缓存与精确缓存的命中率。其二是避免不必要的动态信息。有些系统在提示词里插入当前时间戳导致缓存永远不命中。除非模型真的需要知道当前时间否则不要插入。其三是给缓存友好的请求结构。相同语义的请求用相同的表述方式提交例如先做一次规范化改写命中率会明显提升。缓存友好度检查 · 固定模板是否在动态内容之前 · 是否包含不必要的时变信息 · 相同语义是否有相同的表述 · 参数温度等是否统一十、读者问答问缓存能否与前缀缓存叠加可以两者作用的层次不同前缀缓存复用计算结果缓存复用输出。叠加使用收益更大但要注意失效联动。问命中率高但用户投诉增加可能是什么原因大概率是阈值过低导致错命中。此时应提高阈值并抽检命中样本而不是简单关掉缓存。问缓存的收益如何量化统计命中次数 × 平均单次成本减去缓存本身的存储与检索开销。只有净收益为正时缓存才值得存在。问新业务上线时是否启用缓存建议初期关闭等请求模式稳定后再开启。早期流量不稳定时开启缓存容易把早期的不良结果固化下来。十一、最后几个问题问缓存是否适合所有推理场景不适合。生成类、创意类、实时信息类场景都不适合缓存。适合缓存的是答案稳定且重复度高的场景。问缓存能否跨模型复用谨慎。不同模型的输出风格与质量不同跨模型复用可能让用户感到不一致。建议按模型版本隔离缓存。问如何监控缓存的健康度三个指标命中率、抽检错命中率、以及缓存引入的平均延迟变化。第二个指标最能反映风险。十二、衔接大会专题问缓存是否应该区分读写缓存只作用于读类请求任何可能改变外部状态的请求都不应缓存哪怕它们的输入文本相同。问缓存的收益会不会随模型降价而消失会缩小但不会消失——延迟收益与稳定性收益与价格无关。缓存的价值不只是省钱。11 月 20-21 日北京万达文华酒店2026 奇点智能技术大会将讨论推理优化、成本治理与工程实践C 及系统软件技术大会则从缓存系统、内存管理与一致性角度给出底层视角。带着我们的缓存命中率是多少、抽检出多少错命中这两个数字去参会会立刻知道缓存是在省钱还是在埋雷。大会信息2026 奇点智能技术大会 C 及系统软件技术大会时间2026 年 11 月 20-21 日地点中国·北京万达文华酒店大会报名点击报名领取大会PPT资料立即报名锁定 Lukasz Kaiser Keynote 与 70 场演讲完整资料