文章目录一、引言二、客服场景下大模型的五大原罪2.1 幻觉一本正经地胡说八道2.2 知识滞后训练完就定型2.3 无法溯源用户最怕嘴上说2.4 私有知识缺失通用模型的知识盲区2.5 多轮对话与上下文遗忘三、RAG 是怎么治这些病的四、为什么 RAG 特别适合智能客服五、本系列能给你带来什么六、本文小结本系列为《RAG 做智能客服》第 1 篇前置条件了解大模型基础概念ChatGPT、通义千问等一、引言过去两年几乎每家做客服的公司都试过把大模型塞进自己的产品里。结果呢上线前信心满满上线后智障频出。你肯定见过类似这样的对话用户我上个月买的 iPhone 15 还没收到能帮我查一下吗AI 客服您好根据您提供的信息您的订单预计 3-5 个工作日内送达。如有疑问请联系我。实际上用户已经收到货了AI 凭概率瞎编了一个时间用户你们的电池保修期是多久AI 客服12 个月行业标准。其实这家公司提供 24 个月保修AI 把行业最常见的标准当成了自己公司的政策——客户差点错失整整 1 年延保用户一看这 AI 不靠谱。然后直接转人工客服坐席每天照样被淹没在重复问题里。大模型本身并不弱——它能写诗、能写代码、能聊人生但它天生不适合做智能客服。为什么会这样这就是我们这一篇要讲清楚的事。二、客服场景下大模型的五大原罪大模型在客服场景翻车表面看是答错了往深挖其实是五个互相纠缠的结构性问题。2.1 幻觉一本正经地胡说八道幻觉Hallucination是大模型最知名的缺陷也是客服场景最致命的。模型生成答案的原理是基于训练数据中学到的统计模式去续写下一个 token。它不具备事实核查能力也不知道我不知道该怎么回答。客服场景中的典型幻觉幻觉类型例子编造时间凭空给出3-5 个工作日送达编造政策嫁接别家公司的退款规则编造功能介绍产品根本不存在的功能编造流程告诉用户请在 XX 页面点击 XX 按钮实际没有数据根据 Vectara 2024 年发布的幻觉率排行榜主流商用大模型的捏造事实幻觉率仍处于0.7%–4.5%之间。听起来不高但客服每天处理上百万次咨询0.7% 就是 7000 次错误回答——足以毁掉品牌信任。2.2 知识滞后训练完就定型大模型的知识截止于训练数据采集的那一刻。GPT-4o 的知识截止 2023 年 10 月Claude 3.5 是 2024 年 4 月——但你的退货政策可能上周刚改过。更麻烦的是重新训练一个模型的成本极高一次完整预训练数百万到数千万美元数据 算力 人力训练周期数周到数月重新上线还要做对齐、安全、评测而客服知识库几乎每天都在变新品上架、政策调整、活动规则更新、bug 修复……你不可能为了改一行文档就重训一次模型。2.3 无法溯源用户最怕嘴上说医疗、金融、法律这些领域要求 AI 回答必须有据可查。用户问“这个结论从哪来的” AI 答不上来没人敢信。但大模型生成答案的过程是黑盒——它吐出的每个字都是概率采样不是从某段原文摘抄出来的。即便你问你是怎么得出这个结论的它也只能编一个听起来合理的理由。⚠️注意让大模型在回答中给出引用很容易但引用的内容是不是真的支持它的结论是另一回事。这一点我们后面讲引用溯源时会专门拆解。2.4 私有知识缺失通用模型的知识盲区大模型的训练数据来自公网它知道 Wikipedia、知道新闻、知道 GitHub 上的开源项目但它不知道你公司的内部文档你们公司的差旅报销标准你们银行最新发行的某款理财产品你们医院某位医生的出诊时间你们电商平台的双 11 活动细则这些是企业的核心资产也是客服每天被问 90% 的内容。为什么不能把这些塞进训练数据三个理由成本每次更新都要重训一次数据安全核心知识不能出企业内网规模大模型上下文窗口目前最长也就 200K tokens放不下企业全部文档2.5 多轮对话与上下文遗忘用户和客服的对话很少是一问一答就结束的。常见模式是用户iPhone 15 多少钱AIiPhone 15 起售价 5999 元。用户256G 呢AI好的模型256G 版本售价 6999 元。AI差的模型对不起请告诉我您想了解哪款产品256G 呢是省略主语的指代AI 必须记住上文是iPhone 15才能正确理解。更复杂的是用户可能会中途切话题用户iPhone 15 256G 多少钱用户对了iPad 有优惠吗用户那 iPhone 15 的学生折扣还有吗这种话题跳跃 指代省略对长上下文记忆是个巨大挑战。大模型虽然有上下文窗口但窗口越长注意力越分散中间的内容容易被遗忘每一轮都把整段历史传过去token 费用会爆三、RAG 是怎么治这些病的RAGRetrieval-Augmented Generation检索增强生成的核心思想一句话讲清楚不靠模型记住知识而是回答前先查知识。具体做法离线阶段把企业知识库产品文档、政策文件、FAQ 等切成小块用嵌入模型转成向量建好索引存到向量数据库在线阶段用户提问时先用问题去向量数据库里检索出最相关的几段知识把检索到的知识 用户问题一起塞进 Prompt让大模型基于这些知识生成答案整个过程模型的角色从知识持有者变成了知识使用者。知识本身被外置到可以随时更新的数据库里模型只需要负责读懂 表达。四、为什么 RAG 特别适合智能客服RAG 不是万能解药但在智能客服这个场景它几乎直击所有痛点客服痛点RAG 的解法知识滞后文档更新后重跑一遍索引即可分钟级生效私有知识索引建在企业内网知识不出域无法溯源检索结果天然带原文出处引用即真相幻觉模型必须看着原文回答相当于开卷考试上下文遗忘关键知识从外部按需召回不依赖模型记忆更重要的是RAG 系统开发成本低、上线快不需要重训模型不需要懂 Transformer 原理几行 Python 一个向量数据库就能跑起来 demo出了问题好排查召回的原文对不对、生成模块的 Prompt 合不合适一目了然五、本系列能给你带来什么写完这 38 篇你将能从 0 搭建一个生产级 RAG 智能客服系统诊断并优化召回不准、生成胡说、延迟高这些真实问题看懂最新论文如 Self-RAG、GraphRAG、Agentic RAG并评估是否值得引入应对面试关于 RAG 的高频问题读者画像有一点 Python 基础了解过大模型 API 调用在公司里负责或即将负责智能客服项目。不需要Transformer 数学功底。六、本文小结大模型在客服场景的五大问题幻觉、知识滞后、无法溯源、私有知识缺失、多轮遗忘RAG 的核心思想让模型开卷考试先查再答RAG 对客服场景天然友好低成本、高可解释、知识随时更新下一篇预告我们用一张完整的流程图把 RAG 的五大核心环节——分片 → 索引 → 召回 → 重排 → 生成——一次性串起来建立后续学习的认知地图。
文章目录一、引言二、客服场景下大模型的五大原罪2.1 幻觉一本正经地胡说八道2.2 知识滞后训练完就定型2.3 无法溯源用户最怕嘴上说2.4 私有知识缺失通用模型的知识盲区2.5 多轮对话与上下文遗忘三、RAG 是怎么治这些病的四、为什么 RAG 特别适合智能客服五、本系列能给你带来什么六、本文小结本系列为《RAG 做智能客服》第 1 篇前置条件了解大模型基础概念ChatGPT、通义千问等一、引言过去两年几乎每家做客服的公司都试过把大模型塞进自己的产品里。结果呢上线前信心满满上线后智障频出。你肯定见过类似这样的对话用户我上个月买的 iPhone 15 还没收到能帮我查一下吗AI 客服您好根据您提供的信息您的订单预计 3-5 个工作日内送达。如有疑问请联系我。实际上用户已经收到货了AI 凭概率瞎编了一个时间用户你们的电池保修期是多久AI 客服12 个月行业标准。其实这家公司提供 24 个月保修AI 把行业最常见的标准当成了自己公司的政策——客户差点错失整整 1 年延保用户一看这 AI 不靠谱。然后直接转人工客服坐席每天照样被淹没在重复问题里。大模型本身并不弱——它能写诗、能写代码、能聊人生但它天生不适合做智能客服。为什么会这样这就是我们这一篇要讲清楚的事。二、客服场景下大模型的五大原罪大模型在客服场景翻车表面看是答错了往深挖其实是五个互相纠缠的结构性问题。2.1 幻觉一本正经地胡说八道幻觉Hallucination是大模型最知名的缺陷也是客服场景最致命的。模型生成答案的原理是基于训练数据中学到的统计模式去续写下一个 token。它不具备事实核查能力也不知道我不知道该怎么回答。客服场景中的典型幻觉幻觉类型例子编造时间凭空给出3-5 个工作日送达编造政策嫁接别家公司的退款规则编造功能介绍产品根本不存在的功能编造流程告诉用户请在 XX 页面点击 XX 按钮实际没有数据根据 Vectara 2024 年发布的幻觉率排行榜主流商用大模型的捏造事实幻觉率仍处于0.7%–4.5%之间。听起来不高但客服每天处理上百万次咨询0.7% 就是 7000 次错误回答——足以毁掉品牌信任。2.2 知识滞后训练完就定型大模型的知识截止于训练数据采集的那一刻。GPT-4o 的知识截止 2023 年 10 月Claude 3.5 是 2024 年 4 月——但你的退货政策可能上周刚改过。更麻烦的是重新训练一个模型的成本极高一次完整预训练数百万到数千万美元数据 算力 人力训练周期数周到数月重新上线还要做对齐、安全、评测而客服知识库几乎每天都在变新品上架、政策调整、活动规则更新、bug 修复……你不可能为了改一行文档就重训一次模型。2.3 无法溯源用户最怕嘴上说医疗、金融、法律这些领域要求 AI 回答必须有据可查。用户问“这个结论从哪来的” AI 答不上来没人敢信。但大模型生成答案的过程是黑盒——它吐出的每个字都是概率采样不是从某段原文摘抄出来的。即便你问你是怎么得出这个结论的它也只能编一个听起来合理的理由。⚠️注意让大模型在回答中给出引用很容易但引用的内容是不是真的支持它的结论是另一回事。这一点我们后面讲引用溯源时会专门拆解。2.4 私有知识缺失通用模型的知识盲区大模型的训练数据来自公网它知道 Wikipedia、知道新闻、知道 GitHub 上的开源项目但它不知道你公司的内部文档你们公司的差旅报销标准你们银行最新发行的某款理财产品你们医院某位医生的出诊时间你们电商平台的双 11 活动细则这些是企业的核心资产也是客服每天被问 90% 的内容。为什么不能把这些塞进训练数据三个理由成本每次更新都要重训一次数据安全核心知识不能出企业内网规模大模型上下文窗口目前最长也就 200K tokens放不下企业全部文档2.5 多轮对话与上下文遗忘用户和客服的对话很少是一问一答就结束的。常见模式是用户iPhone 15 多少钱AIiPhone 15 起售价 5999 元。用户256G 呢AI好的模型256G 版本售价 6999 元。AI差的模型对不起请告诉我您想了解哪款产品256G 呢是省略主语的指代AI 必须记住上文是iPhone 15才能正确理解。更复杂的是用户可能会中途切话题用户iPhone 15 256G 多少钱用户对了iPad 有优惠吗用户那 iPhone 15 的学生折扣还有吗这种话题跳跃 指代省略对长上下文记忆是个巨大挑战。大模型虽然有上下文窗口但窗口越长注意力越分散中间的内容容易被遗忘每一轮都把整段历史传过去token 费用会爆三、RAG 是怎么治这些病的RAGRetrieval-Augmented Generation检索增强生成的核心思想一句话讲清楚不靠模型记住知识而是回答前先查知识。具体做法离线阶段把企业知识库产品文档、政策文件、FAQ 等切成小块用嵌入模型转成向量建好索引存到向量数据库在线阶段用户提问时先用问题去向量数据库里检索出最相关的几段知识把检索到的知识 用户问题一起塞进 Prompt让大模型基于这些知识生成答案整个过程模型的角色从知识持有者变成了知识使用者。知识本身被外置到可以随时更新的数据库里模型只需要负责读懂 表达。四、为什么 RAG 特别适合智能客服RAG 不是万能解药但在智能客服这个场景它几乎直击所有痛点客服痛点RAG 的解法知识滞后文档更新后重跑一遍索引即可分钟级生效私有知识索引建在企业内网知识不出域无法溯源检索结果天然带原文出处引用即真相幻觉模型必须看着原文回答相当于开卷考试上下文遗忘关键知识从外部按需召回不依赖模型记忆更重要的是RAG 系统开发成本低、上线快不需要重训模型不需要懂 Transformer 原理几行 Python 一个向量数据库就能跑起来 demo出了问题好排查召回的原文对不对、生成模块的 Prompt 合不合适一目了然五、本系列能给你带来什么写完这 38 篇你将能从 0 搭建一个生产级 RAG 智能客服系统诊断并优化召回不准、生成胡说、延迟高这些真实问题看懂最新论文如 Self-RAG、GraphRAG、Agentic RAG并评估是否值得引入应对面试关于 RAG 的高频问题读者画像有一点 Python 基础了解过大模型 API 调用在公司里负责或即将负责智能客服项目。不需要Transformer 数学功底。六、本文小结大模型在客服场景的五大问题幻觉、知识滞后、无法溯源、私有知识缺失、多轮遗忘RAG 的核心思想让模型开卷考试先查再答RAG 对客服场景天然友好低成本、高可解释、知识随时更新下一篇预告我们用一张完整的流程图把 RAG 的五大核心环节——分片 → 索引 → 召回 → 重排 → 生成——一次性串起来建立后续学习的认知地图。
