AI幻觉现象为什么AI会一本正经地胡说八道你让AI推荐5本关于领导力的书它给了你5个书名、作者、简介看起来头头是道。但当你去网上搜其中一本时发现这本书根本不存在——书名是AI编的作者名是拼凑的简介是它在合理想象中生成的。这不是AI在故意骗你这是一种叫幻觉的现象。今天我们就来深入理解AI幻觉它为什么会发生、在什么情况下容易发生、以及你如何有效防范。一、AI幻觉是什么1.1 最简单的定义AI幻觉Hallucination是指大语言模型生成的内容看似合理、自洽但实际上包含虚构、错误或无根据的信息。“幻觉这个术语可能有点误导——它暗示AI看到了不存在的东西”。更准确的理解是AI在不知道的情况下不是选择说我不知道而是推测出了一个它认为最像正确答案的输出。1.2 幻觉不是Bug是LLM根本工作机制的副产品回顾第3篇中我们讨论的原理LLM的核心任务是预测下一个token。它不是先理解了事实再去表达——它的理解和表达是同一个动作。当一个事实在训练数据中频繁出现且一致时比如北京是中国的首都模型可以非常确定地预测。但当一个事实不常见、有多种版本、或者涉及训练数据中没有覆盖的新知识时模型依然会预测——基于它学到的语言模式和知识关联构建出一个看起来合理的答案。⚠️关键理解幻觉不是AI出了bug而是LLM预测下一个token这个工作方式的必然副产品。只要这个工作方式不变幻觉就不会完全消失——只能被管理和降低。二、幻觉的六种常见类型2.1 事实虚构型AI完全编造了一个不存在的事实。用户请推荐3本关于Python机器学习的最佳入门书籍。 AI1.《Python机器学习实战》- 张伟 著这本书不存在 2.《从零开始学ML》- 李明 著这本书不存在 3.《Python数据科学手册》- Jake VanderPlas 著这本真实存在2.2 细节添加型AI在一个真实事实的基础上添加了虚构的细节。用户介绍一下斯坦福大学。 AI斯坦福大学由Leland Stanford和Jane Stanford于1885年创立 最初是为了纪念他们在意大利佛罗伦萨留学时认识的一位挚友... 纺织女工都认识但意大利佛罗伦萨留学时认识这个细节是编造的2.3 时间混淆型AI混淆了事件发生的时间、人物的生平时期等。用户TensorFlow 2.0是什么时候发布的 AITensorFlow 2.0于2018年发布...实际上是2019年9月2.4 归因错误型AI把属于某个人/某件事的归因错误地安到了另一个人/事头上。用户谁发明了万维网 AI万维网由Vint Cerf发明...实际上万维网是Tim Berners-Lee发明的 Vint Cerf是TCP/IP协议的共同发明者之一2.5 数据捏造型AI在分析中引用了一个完全不存在的统计数据。用户全球每年有多少塑料进入海洋 AI根据世界自然基金会2023年的报告每年约有800万吨塑料 进入海洋...800万这个数字大致正确但世界自然基金会2023年报告 这个出处可能是编造的2.6 逻辑幻觉型AI的推理过程看似合理但仔细检查会发现其中存在逻辑跳跃或谬误。三、为什么AI会产生幻觉3.1 训练数据的局限性数据覆盖不全如果某个领域的知识在训练数据中覆盖不足AI在这个领域的输出更容易产生幻觉。数据本身包含错误AI的训练数据来自互联网而互联网上本身就包含大量错误信息、偏见和过时的知识。AI无法天然地分辨哪些是对的、哪些是错的。知识截止日期的局限模型训练完成后世界还在变化。训练截止日期之后发生的事件AI完全不知道。3.2 预测下一个词机制的本质局限即使模型不确定它也必须预测出最可能的下一个词。它没有内置的我不知道机制——让AI说我不知道需要专门的对齐训练。在生成长文本时前面生成的内容会影响后面的生成。如果前面猜对了后面很可能串成一条合理链条。但如果前面某一步猜偏了后面可能会越偏越远——这就是幻觉的滚雪球效应。3.3 提示词对幻觉的影响⚠️ 你的提示词本身也可能诱导幻觉。诱导性提问当你的提问中预设了一个错误前提AI可能顺着这个错误前提走下去。❌ 诱导性提问乔布斯在1999年发布的iPhone有什么特点 iPhone是2007年发布的问题本身就包含错误前提 AI可能顺着你的问题编造了1999年的iPhone的种种特征过度自信的指令告诉AI一定要给出确切的答案反而会促使它在不确定时编造答案。四、降低幻觉的十大实用策略4.1 策略一设定不确定阈值如果你对某个信息不完全确定确定程度低于90%请明确标注 不确定并说明不确定的原因。宁可不回答也不要给出你 不确定的信息。4.2 策略二要求提供可验证的来源请为你的每个关键论断提供来源。如果某条信息来自你的训练数据 且你无法追溯来源请标注通用知识来源未验证。 如果可能请说明你判断该信息准确性的信心程度高/中/低。4.3 策略三提供专属知识库在回答之前请先阅读以下我提供的参考资料。所有的回答必须 基于这些资料进行不要引入资料中没有的外部知识。 如果某个问题无法基于资料回答请说明。 参考资料 [你的专属知识库或文档...]4.4 策略四分步推理交叉验证对于需要多步推理的复杂问题引导AI展示推理过程并要求它在推理结束后进行自我检查。请分步骤回答以下问题每一步都说明你的推理依据。完成推理后 请回看你的整个推理过程检查每一步是否有逻辑跳跃或 事实假设标注出来。4.5 策略五降低创作冲动在需要精确事实的场景下明确告诉AI不要创作。对于以下问题请以事实查询模式回答而非创作模式 - 只陈述可以被验证的事实 - 不添加任何解释性的推测 - 不在答案中讲故事或举例子 - 每条事实标注你的确定程度4.6 策略六使用低TemperatureAPI用户如果你使用的是API将Temperature设置为接近0可以显著降低幻觉概率——模型会更倾向于选择最确定的token而不是最有创意的。4.7 策略七上下文注入精确数据在回答以下问题之前请注意以下确定的背景事实 - 2024年全球人口约为80亿 - 中国GDP在2024年约为126万亿人民币 - ... 请在你的回答中只引用上述已确认的数据不要引入其他未验证数据。4.8 策略八多模型交叉验证同样的提示词在不同模型上运行如果所有模型给出高度一致的信息那可信度就高如果不同模型说法不一那就需要人工核实。4.9 策略九事实核查提示词专门设计一个事实核查提示词用来核查另一个AI输出中可能存在的幻觉。你是一位事实核查员。请审查以下AI生成的内容找出所有 可能不准确或虚假的信息。对于每处可疑内容说明为什么 可能是错的以及如何验证。4.10 策略十建立幻觉敏感任务清单有些任务特别容易引发幻觉——涉及具体数据、人名、日期、引用、小众知识的任务。对于这些任务养成默认不信任事后必须验证的习惯。五、不同场景的幻觉风险等级风险等级场景类型典型任务推荐策略 高风险事实准确性至关重要的场景医疗建议、法律咨询、财务分析提供专属资料库要求来源人工核实 中风险专业性任务有一定容错空间商业分析、技术文档、学习材料要求标注置信度关键数据交叉验证 低风险创意性任务事实准确不是核心故事创作、头脑风暴、日常聊天一般性防范即可六、当幻觉发生时怎么办6.1 发现后立即纠正你在上一轮回答中提到[错误信息]。实际上正确的是[正确信息]。 请基于正确的事实重新回答我的问题。6.2 利用幻觉改善提示词每一次幻觉都是改善提示词的线索。问自己这个幻觉是如何产生的我的提示词中有没有诱导幻觉的因素下次如何防止6.3 建立幻觉记录记录你遇到的每一次幻觉案例任务类型、幻觉内容、使用的模型、当时的提示词。这将帮你识别出你在哪些场景下最容易遇到幻觉从而更有针对性地防护。✅ 本文核心要点总结AI幻觉是LLM预测下一个token工作机制的副产品不是bug无法完全消除只能管理六种常见幻觉类型事实虚构、细节添加、时间混淆、归因错误、数据捏造、逻辑幻觉幻觉的三大成因训练数据局限性、预测机制的本质局限、提示词的诱导效应十大降幻觉策略不确定阈值、要求来源、提供知识库、分步推理验证、降低创作冲动、低Temperature、上下文注入精确数据、多模型交叉验证、事实核查提示词、建立敏感任务清单不同场景有不同的幻觉风险等级选择合适的防范策略本文是《提示词工程教程》系列的第27篇。下一篇我们将探讨一个有趣的悖论——提示词的长度悖论越短越好还是越长越好
AI幻觉现象为什么AI会一本正经地胡说八道你让AI推荐5本关于领导力的书它给了你5个书名、作者、简介看起来头头是道。但当你去网上搜其中一本时发现这本书根本不存在——书名是AI编的作者名是拼凑的简介是它在合理想象中生成的。这不是AI在故意骗你这是一种叫幻觉的现象。今天我们就来深入理解AI幻觉它为什么会发生、在什么情况下容易发生、以及你如何有效防范。一、AI幻觉是什么1.1 最简单的定义AI幻觉Hallucination是指大语言模型生成的内容看似合理、自洽但实际上包含虚构、错误或无根据的信息。“幻觉这个术语可能有点误导——它暗示AI看到了不存在的东西”。更准确的理解是AI在不知道的情况下不是选择说我不知道而是推测出了一个它认为最像正确答案的输出。1.2 幻觉不是Bug是LLM根本工作机制的副产品回顾第3篇中我们讨论的原理LLM的核心任务是预测下一个token。它不是先理解了事实再去表达——它的理解和表达是同一个动作。当一个事实在训练数据中频繁出现且一致时比如北京是中国的首都模型可以非常确定地预测。但当一个事实不常见、有多种版本、或者涉及训练数据中没有覆盖的新知识时模型依然会预测——基于它学到的语言模式和知识关联构建出一个看起来合理的答案。⚠️关键理解幻觉不是AI出了bug而是LLM预测下一个token这个工作方式的必然副产品。只要这个工作方式不变幻觉就不会完全消失——只能被管理和降低。二、幻觉的六种常见类型2.1 事实虚构型AI完全编造了一个不存在的事实。用户请推荐3本关于Python机器学习的最佳入门书籍。 AI1.《Python机器学习实战》- 张伟 著这本书不存在 2.《从零开始学ML》- 李明 著这本书不存在 3.《Python数据科学手册》- Jake VanderPlas 著这本真实存在2.2 细节添加型AI在一个真实事实的基础上添加了虚构的细节。用户介绍一下斯坦福大学。 AI斯坦福大学由Leland Stanford和Jane Stanford于1885年创立 最初是为了纪念他们在意大利佛罗伦萨留学时认识的一位挚友... 纺织女工都认识但意大利佛罗伦萨留学时认识这个细节是编造的2.3 时间混淆型AI混淆了事件发生的时间、人物的生平时期等。用户TensorFlow 2.0是什么时候发布的 AITensorFlow 2.0于2018年发布...实际上是2019年9月2.4 归因错误型AI把属于某个人/某件事的归因错误地安到了另一个人/事头上。用户谁发明了万维网 AI万维网由Vint Cerf发明...实际上万维网是Tim Berners-Lee发明的 Vint Cerf是TCP/IP协议的共同发明者之一2.5 数据捏造型AI在分析中引用了一个完全不存在的统计数据。用户全球每年有多少塑料进入海洋 AI根据世界自然基金会2023年的报告每年约有800万吨塑料 进入海洋...800万这个数字大致正确但世界自然基金会2023年报告 这个出处可能是编造的2.6 逻辑幻觉型AI的推理过程看似合理但仔细检查会发现其中存在逻辑跳跃或谬误。三、为什么AI会产生幻觉3.1 训练数据的局限性数据覆盖不全如果某个领域的知识在训练数据中覆盖不足AI在这个领域的输出更容易产生幻觉。数据本身包含错误AI的训练数据来自互联网而互联网上本身就包含大量错误信息、偏见和过时的知识。AI无法天然地分辨哪些是对的、哪些是错的。知识截止日期的局限模型训练完成后世界还在变化。训练截止日期之后发生的事件AI完全不知道。3.2 预测下一个词机制的本质局限即使模型不确定它也必须预测出最可能的下一个词。它没有内置的我不知道机制——让AI说我不知道需要专门的对齐训练。在生成长文本时前面生成的内容会影响后面的生成。如果前面猜对了后面很可能串成一条合理链条。但如果前面某一步猜偏了后面可能会越偏越远——这就是幻觉的滚雪球效应。3.3 提示词对幻觉的影响⚠️ 你的提示词本身也可能诱导幻觉。诱导性提问当你的提问中预设了一个错误前提AI可能顺着这个错误前提走下去。❌ 诱导性提问乔布斯在1999年发布的iPhone有什么特点 iPhone是2007年发布的问题本身就包含错误前提 AI可能顺着你的问题编造了1999年的iPhone的种种特征过度自信的指令告诉AI一定要给出确切的答案反而会促使它在不确定时编造答案。四、降低幻觉的十大实用策略4.1 策略一设定不确定阈值如果你对某个信息不完全确定确定程度低于90%请明确标注 不确定并说明不确定的原因。宁可不回答也不要给出你 不确定的信息。4.2 策略二要求提供可验证的来源请为你的每个关键论断提供来源。如果某条信息来自你的训练数据 且你无法追溯来源请标注通用知识来源未验证。 如果可能请说明你判断该信息准确性的信心程度高/中/低。4.3 策略三提供专属知识库在回答之前请先阅读以下我提供的参考资料。所有的回答必须 基于这些资料进行不要引入资料中没有的外部知识。 如果某个问题无法基于资料回答请说明。 参考资料 [你的专属知识库或文档...]4.4 策略四分步推理交叉验证对于需要多步推理的复杂问题引导AI展示推理过程并要求它在推理结束后进行自我检查。请分步骤回答以下问题每一步都说明你的推理依据。完成推理后 请回看你的整个推理过程检查每一步是否有逻辑跳跃或 事实假设标注出来。4.5 策略五降低创作冲动在需要精确事实的场景下明确告诉AI不要创作。对于以下问题请以事实查询模式回答而非创作模式 - 只陈述可以被验证的事实 - 不添加任何解释性的推测 - 不在答案中讲故事或举例子 - 每条事实标注你的确定程度4.6 策略六使用低TemperatureAPI用户如果你使用的是API将Temperature设置为接近0可以显著降低幻觉概率——模型会更倾向于选择最确定的token而不是最有创意的。4.7 策略七上下文注入精确数据在回答以下问题之前请注意以下确定的背景事实 - 2024年全球人口约为80亿 - 中国GDP在2024年约为126万亿人民币 - ... 请在你的回答中只引用上述已确认的数据不要引入其他未验证数据。4.8 策略八多模型交叉验证同样的提示词在不同模型上运行如果所有模型给出高度一致的信息那可信度就高如果不同模型说法不一那就需要人工核实。4.9 策略九事实核查提示词专门设计一个事实核查提示词用来核查另一个AI输出中可能存在的幻觉。你是一位事实核查员。请审查以下AI生成的内容找出所有 可能不准确或虚假的信息。对于每处可疑内容说明为什么 可能是错的以及如何验证。4.10 策略十建立幻觉敏感任务清单有些任务特别容易引发幻觉——涉及具体数据、人名、日期、引用、小众知识的任务。对于这些任务养成默认不信任事后必须验证的习惯。五、不同场景的幻觉风险等级风险等级场景类型典型任务推荐策略 高风险事实准确性至关重要的场景医疗建议、法律咨询、财务分析提供专属资料库要求来源人工核实 中风险专业性任务有一定容错空间商业分析、技术文档、学习材料要求标注置信度关键数据交叉验证 低风险创意性任务事实准确不是核心故事创作、头脑风暴、日常聊天一般性防范即可六、当幻觉发生时怎么办6.1 发现后立即纠正你在上一轮回答中提到[错误信息]。实际上正确的是[正确信息]。 请基于正确的事实重新回答我的问题。6.2 利用幻觉改善提示词每一次幻觉都是改善提示词的线索。问自己这个幻觉是如何产生的我的提示词中有没有诱导幻觉的因素下次如何防止6.3 建立幻觉记录记录你遇到的每一次幻觉案例任务类型、幻觉内容、使用的模型、当时的提示词。这将帮你识别出你在哪些场景下最容易遇到幻觉从而更有针对性地防护。✅ 本文核心要点总结AI幻觉是LLM预测下一个token工作机制的副产品不是bug无法完全消除只能管理六种常见幻觉类型事实虚构、细节添加、时间混淆、归因错误、数据捏造、逻辑幻觉幻觉的三大成因训练数据局限性、预测机制的本质局限、提示词的诱导效应十大降幻觉策略不确定阈值、要求来源、提供知识库、分步推理验证、降低创作冲动、低Temperature、上下文注入精确数据、多模型交叉验证、事实核查提示词、建立敏感任务清单不同场景有不同的幻觉风险等级选择合适的防范策略本文是《提示词工程教程》系列的第27篇。下一篇我们将探讨一个有趣的悖论——提示词的长度悖论越短越好还是越长越好
