前言近年来大语言模型LLMs的能力呈现爆炸式增长。伴随这一发展人类反馈的强化学习RLHF成为了一种流行的模型优化方法帮助模型更好地符合人类偏好产生更有帮助且危害更小的文本。然而RLHF 中的RL强化学习容易引起误解很多人想知道这些技术是否真的能像经典的强化学习智能体例如 AlphaZero那样赋予 LLM 某种似乎想要赢得游戏的目标或意图。在这篇文章中我们将讨论以下几个有趣的问题RLHF及相关方法与经典 RL 有何不同为什么这些方法实际上并未赋予 LLM 真正的目标或意图为什么目前没有人在大规模上对 LLM 实施真正的 RL现有方法中什么最接近于给 LLM 一个目标没有目标驱动的 LLM 会带来什么后果通过理解这些细微差别我们可以更清楚地认识 LLM 能做什么、不能做什么以及原因何在。1、RLHF与经典RL的区别1什么是经典强化学习在经典 RL 设置中你会看到一个在环境中采取行动的智能体基于智能体的行动而改变状态的环境智能体根据行动获得奖励或惩罚目标是在多个步骤中最大化长期累积奖励关键特征持续或周期性的交互。智能体探索多个状态做出决策观察奖励并在一个持续的循环中调整其策略。2RLHF 的工作机制RLHF 是一个使用基于人类偏好数据训练的奖励模型来优化模型输出的工作流程。通常包括监督微调SFT首先在高质量数据上训练或微调基础语言模型奖励模型训练收集输出对并询问人类更偏好哪一个然后训练奖励模型来近似这些人类判断策略优化使用类似强化学习的算法通常是 PPO近端策略优化来调整 LLM 的参数使其产生更受奖励模型青睐的输出与经典 RL 的不同之处在于这里的环境基本上就是一个单步文本生成过程加上一个静态奖励模型——没有延展的循环或持续变化的状态。2、为什么 RLHF 不是真正的 RL主要区别如下1单步或少步优化RLHF 中LLM 为给定提示生成文本然后奖励模型提供一个单一的偏好分数。这更像是朝着人类偏好的单步策略梯度优化而非在变化环境中完整的智能体循环。这更接近于一次性评分而不是智能体在时间维度上探索多步骤行动并获得环境反馈。2主要离线或半离线特性奖励模型通常是离线训练的基于人类标注数据。用于更新 LLM 策略的次数有限。没有实时的、持续的环境循环供 LLM 探索并在线调整其策略。3缺乏长期环境导向的目标经典 RL 智能体会跟踪多个状态下的长期奖励。相比之下基于 RLHF 的 LLM 训练主要关注将即时文本输出调整为符合人类偏好。There is no dynamic environment the LLMnavigates over many time steps.4表面约束 vs 真实内部目标RLHF 实际上是在塑造某些输出的概率分布——引导模型远离不期望的文本。但模型并未在内部形成对产生这些输出的想要或渴望它仍然是一个生成下一个 token 的统计系统。需要记住的是无论是 RLHF、SFT 还是其他方法LLM 的训练目标都不是形成真正的目标或意图从根本上说LLM 是被训练来预测给定上下文的下一个 token。它们的动机纯粹是最大化正确下一个 token 的似然概率由训练数据和后续微调信号定义。这里不存在主观意义上的想要或意图。我们常说 AlphaZero想要赢得象棋比赛但这只是一种便利的说法。在内部AlphaZero 只是在最大化一个数学奖励函数——并不存在真实的欲望。同样经过 RLHF 调整的 LLM 也只是在最大化对齐奖励信号而没有想要的内部状态。3、RLHF vs IRL的比较Subbarao Kambhampati 指出RLHF某种程度上是一个用词不当因为它结合了从人类判断中学习偏好或奖励模型这在概念上更接近逆强化学习或 IRL与单步或少步策略优化——而不是经典 RL 中典型的长期迭代交互。主要差异如下1逆强化学习IRL经典形式中智能体通过观察专家在动态环境中随时间推移的示范来推断奖励函数(In the classical IRL formulation, an agent infers a reward function by observing expert demonstrations in a dynamic environment over time.)相比之下RLHF 通常收集静态的成对比较如这两个模型输出中你更喜欢哪个并训练奖励模型来模拟人类偏好。其中也没有在不断演变的环境中的****多步专家轨迹**(There are no extended multi-step expert trajectories in an evolving environment.)**2RL 中的偏好学习在现代深度 RL 中确实存在从轨迹展开的成对比较中学习奖励函数的方法。但这些方法通常需要大量样本例如需要向人类询问很多次许多研究论文不得不在受控任务中模拟人类响应。3为什么 RLHF 也不是经典 IRL即使 RLHF 在从人类数据学习偏好模型方面类似于 IRL。但它不是分析专家随时间推移行为的经典场景。RLHF 主要关注对最终或短序列输出的静态人类判断。因此RLHF 主要保持离线或近离线状态这进一步限制了它与传统IRL设置的相似性。4、CoT、 PRM 或多智能体工作流能否帮助解决这个问题1基于过程的奖励模型和思维链与其仅基于最终输出如问题的最终答案提供奖励基于过程的奖励模型可能会对中间推理步骤思维链或 CoT提供反馈。这个想法是鼓励模型以更可解释、正确或符合特定标准的方式解释或展示其推理过程。2这会使其成为真正的 RL吗并不会。即使你对中间步骤如 CoT 解释分配部分奖励你仍然处于这样一个设置中通常是将整个输出包括推理输入奖励模型获得一个奖励进行一步策略优化你并不是在一个动态环境中让 LLM 在同一回合中尝试部分推理步骤获得反馈调整然后在开放式循环中继续。因此尽管 CoT/PRM 可能因为对中间步骤进行奖励或惩罚而给人多步 RL 的错觉但实际上它仍然只是对单步生成文本加推理的离线或近离线策略调整而不是经典 RL 中持续的智能体-环境循环。3智能体工作流也不会神奇地创造意图你可以在工作流中编排多个 LLM例如“系统 A 生成计划系统 B 批评计划系统 C 优化计划”但从内部来看每个 LLM 仍然只是基于下一个 token 的概率生成文本。即使这样的多智能体设置可能表现出看似协调或有目的性的涌现行为它也并未赋予任何单个模型内在或内部持有的目标。为什么我们的多智能体 LLM 工作流常常表现出有意图的样子人类天生会将心理状态投射到表现出看似有目的行为的系统上——这被称为意图立场但每个 LLM 智能体只是在响应提示每个智能体背后的思维链与个人欲望或驱动力不同它只是多步反馈循环中更精细的提示-完成过程因此多智能体编排可能产生非常有趣的涌现任务解决能力但 LLM 本身仍然不会产生我想要这个结果的动机。5、为什么目前没有人用真正的 RL训练 LLM成本太高大规模模型的经典 RL 需要稳定的交互环境需要海量计算资源来运行重复的回合episode对于当今数十亿参数的 LLM 来说每个训练周期的前向传播次数都会贵得令人望而却步缺乏环境定义文本生成本质上不是一个状态-动作转换环境虽然可以尝试将其包装在类游戏模拟中但定义多步文本交互的奖励结构并非易事现有性能已经足够好RLHF 或 DPO直接偏好优化在许多用例中已经产生足够好的对齐效果从实用角度看团队更倾向于使用更简单的离线方法而不是构建一个复杂的RL流程只为获得微小的收益却要付出巨大代价6、什么是给 LLM 一个目标最接近的方法那么什么是给 LLM 一个目标最接近的方法目前最接近于给 LLM 设定目标的方法可能是以下几种方案精心设计的提示工程明确指出期望的目标和约束使用思维链CoT来引导推理过程设置角色扮演场景来框定行为范围但要记住这仍然只是在提示层面上的引导而不是模型内在的目标驱动工具使用和规划让 LLM 访问外部工具如计算器、搜索引擎等制定多步计划并执行通过ReAct 等框架组织行动这种方法可以产生看似目标导向的行为但实际上是通过提示模板和工具 API 的组合来实现的。上下文学习In-Context Learning通过示例展示期望的行为模式利用少样本学习来适应特定任务在提示中包含任务相关的背景信息专门的微调在特定任务上进行监督微调使用特定领域的数据集结合任务特定的奖励信号7、缺乏目标驱动LLM 的影响1积极影响可控的行为模型行为更容易预测减少意外的目标追求更容易确保安全边界更灵活的应用可以根据需要调整行为更容易适应不同场景减少固定目标带来的局限性2潜在挑战任务持续性难以维持长期目标可能在复杂任务中失去方向需要更多人工干预和指导自主性限制依赖明确的指令缺乏主动探索能力创造性可能受限8、结论与展望1关键要点对本文的观点进行一个简单总结RLHF 和类似方法是有效的对齐工具但与经典 RL 有本质区别目前的 LLM 本质上仍是预测下一个 token 的概率模型真正的 RL在 LLM 训练中面临重大技术和资源挑战现有方法可以模拟目标导向行为但不等同于真正的目标驱动2未来展望新范式的可能性可能出现结合语言模型和真实 RL 的混合架构新型训练方法可能带来更接近真实目标的行为实践建议明智地使用现有工具理解当前技术的局限性根据具体需求选择合适的方法研究方向探索更高效的 RL 训练方法开发更好的奖励建模方式研究如何在保持安全的同时增加模型的自主性最后为了助力朋友们跳槽面试、升职加薪、职业困境提高自己的技术本文给大家整了一套涵盖AI大模型所有技术栈的快速学习方法和笔记。目前已经收到了七八个网友的反馈说是面试问到了很多这里面的知识点。由于文章篇幅有限不能将全部的面试题答案解析展示出来有需要完整面试题资料的朋友可以扫描下方二维码免费领取哦面试题展示1、请解释一下BERT模型的原理和应用场景。答案BERTBidirectional Encoder Representations from Transformers是一种预训练的语言模型通过双向Transformer编码器来学习文本的表示。它在自然语言处理任务中取得了很好的效果如文本分类、命名实体识别等。2、什么是序列到序列模型Seq2Seq并举例说明其在自然语言处理中的应用。答案Seq2Seq模型是一种将一个序列映射到另一个序列的模型常用于机器翻译、对话生成等任务。例如将英文句子翻译成法文句子。3、请解释一下Transformer模型的原理和优势。答案Transformer是一种基于自注意力机制的模型用于处理序列数据。它的优势在于能够并行计算减少了训练时间并且在很多自然语言处理任务中表现出色。4、什么是注意力机制Attention Mechanism并举例说明其在深度学习中的应用。答案注意力机制是一种机制用于给予模型对不同部分输入的不同权重。在深度学习中注意力机制常用于提升模型在处理长序列数据时的性能如机器翻译、文本摘要等任务。5、请解释一下卷积神经网络CNN在计算机视觉中的应用并说明其优势。答案CNN是一种专门用于处理图像数据的神经网络结构通过卷积层和池化层提取图像特征。它在计算机视觉任务中广泛应用如图像分类、目标检测等并且具有参数共享和平移不变性等优势。6、请解释一下生成对抗网络GAN的原理和应用。答案GAN是一种由生成器和判别器组成的对抗性网络结构用于生成逼真的数据样本。它在图像生成、图像修复等任务中取得了很好的效果。7、请解释一下强化学习Reinforcement Learning的原理和应用。答案强化学习是一种通过与环境交互学习最优策略的机器学习方法。它在游戏领域、机器人控制等领域有广泛的应用。8、请解释一下自监督学习Self-Supervised Learning的原理和优势。答案自监督学习是一种无需人工标注标签的学习方法通过模型自动生成标签进行训练。它在数据标注困难的情况下有很大的优势。9、解释一下迁移学习Transfer Learning的原理和应用。答案迁移学习是一种将在一个任务上学到的知识迁移到另一个任务上的学习方法。它在数据稀缺或新任务数据量较小时有很好的效果。10、请解释一下模型蒸馏Model Distillation的原理和应用。答案模型蒸馏是一种通过训练一个小模型来近似一个大模型的方法。它可以减少模型的计算和存储开销并在移动端部署时有很大的优势。11、请解释一下LSTMLong Short-Term Memory模型的原理和应用场景。答案LSTM是一种特殊的循环神经网络结构用于处理序列数据。它通过门控单元来学习长期依赖关系常用于语言建模、时间序列预测等任务。12、请解释一下BERT模型的原理和应用场景。答案BERTBidirectional Encoder Representations from Transformers是一种预训练的语言模型通过双向Transformer编码器来学习文本的表示。它在自然语言处理任务中取得了很好的效果如文本分类、命名实体识别等。13、什么是注意力机制Attention Mechanism并举例说明其在深度学习中的应用。答案注意力机制是一种机制用于给予模型对不同部分输入的不同权重。在深度学习中注意力机制常用于提升模型在处理长序列数据时的性能如机器翻译、文本摘要等任务。14、请解释一下生成对抗网络GAN的原理和应用。答案GAN是一种由生成器和判别器组成的对抗性网络结构用于生成逼真的数据样本。它在图像生成、图像修复等任务中取得了很好的效果。15、请解释一下卷积神经网络CNN在计算机视觉中的应用并说明其优势。答案CNN是一种专门用于处理图像数据的神经网络结构通过卷积层和池化层提取图像特征。它在计算机视觉任务中广泛应用如图像分类、目标检测等并且具有参数共享和平移不变性等优势。16、请解释一下强化学习Reinforcement Learning的原理和应用。答案强化学习是一种通过与环境交互学习最优策略的机器学习方法。它在游戏领域、机器人控制等领域有广泛的应用。17、请解释一下自监督学习Self-Supervised Learning的原理和优势。答案自监督学习是一种无需人工标注标签的学习方法通过模型自动生成标签进行训练。它在数据标注困难的情况下有很大的优势。18、请解释一下迁移学习Transfer Learning的原理和应用。答案迁移学习是一种将在一个任务上学到的知识迁移到另一个任务上的学习方法。它在数据稀缺或新任务数据量较小时有很好的效果。19、请解释一下模型蒸馏Model Distillation的原理和应用。答案模型蒸馏是一种通过训练一个小模型来近似一个大模型的方法。它可以减少模型的计算和存储开销并在移动端部署时有很大的优势。20、请解释一下BERT中的Masked Language ModelMLM任务及其作用。答案MLM是BERT预训练任务之一通过在输入文本中随机mask掉一部分词汇让模型预测这些被mask掉的词汇。由于文章篇幅有限不能将全部的面试题答案解析展示出来有需要完整面试题资料的朋友可以扫描下方二维码免费领取哦