围绕 RLVRReinforcement Learning from Verifiable Rewards做后训练的人最近应该会看到不少和 Parameter Exploration 相关的方法讨论。把参数探索和 Variational Learning 放在一起听起来是纯学术方向但它要解决的实际问题非常具体当奖励只来自可验证结果模型通过动作采样很难持续探索到新策略训练容易卡在局部最优。这篇文章会从落地训练的角度拆开讲包括 RLVR 为什么需要参数探索、变分学习怎么把“参数分布”变成探索机制、真正跑实验时要关注哪些参数与坑点。如果你正在做数学推理、代码生成这类有标准答案的强化学习后训练或者准备在策略模型里引入参数不确定性来提升探索能力这篇文章可以当一份实操参考。1. RLVR 的真正问题在哪里奖励清晰但探索不够1.1 可验证奖励带来的变化RLVR 的核心是 Verifiable Rewards即可验证奖励。和传统 RLHF 不同它不依赖一个训练出来的奖励模型而是用规则、程序或外部工具直接判断结果是否正确。典型例子有三个数学题判断最终答案是否和标准答案一致代码题判断生成的代码能否通过测试用例检索问答判断答案是否命中标准结果这种做法的优势很明显。奖励信号更干净没有奖励模型偏好带来的偏差数据可以自动获取不需要大量人工标注训练过程也更可控因为判断标准是固定且可复现的。所以现在很多大模型在数学、代码这类任务上的后训练都会优先采用 RLVR。你只需要准备一批问题和标准答案模型自己生成回答再用规则打分就能形成强化学习的训练信号。1.2 动作空间探索的局限但 RLVR 有一个比较隐蔽的问题奖励只关心最终结果过程信息非常稀疏。模型生成一条完整回答可能中间推理是对的最后一步算错奖励就是 0也可能推理路径完全不同但答案对了奖励就是 1。这种方式下常规探索手段通常是动作空间采样。具体来说同一个问题让模型重复生成多次得到多条回答再根据奖励筛掉低分样本用高分样本去更新策略。动作探索的实现很简单但缺点也不少探索发生在 token 序列层面组合空间巨大但大多数随机扰动对最终结果没有帮助多次采样出来的回答表面不同实际策略模式可能高度同质多样性不足当模型策略已经很接近正确答案时动作采样很难带来额外收益因为问题不在输出而在策略分布太窄我在实际训练里观察到的现象是一条数学题模型第一次生成错了让它再采样几次错误往往还是同一个逻辑推导方向。这种时候你需要的不是让模型在输出层面多试几遍而是让它在策略本身的参数层面产生更大的波动。1.3 参数探索为什么能补上这一环Parameter Exploration 的思路很直接与其只在动作空间里搜索不如在参数空间里也加入随机性。每次前向计算时参数不是一个固定值而是从一个分布里采样出来的。这样模型每次生成回答时策略本身就是不一样的。参数层面的扰动和动作层面的扰动有个关键区别动作扰动只改变这一次生成的 token 选择参数扰动会改变整条策略的倾向性。哪怕当前策略已经陷在某个局部模式里参数扰动也可能把模型推到另一个完全不同的推理模式从而产出真正多样化的回答。这也是标题里把 Parameter Exploration 和 Variational Learning 放在一起的核心原因变分学习提供了一套正规的参数分布建模方法不只是简单加噪声而是学习一个合理的分布让采样出来的参数在“能完成任务”和“保持一定随机性”之间取得平衡。2. 变分学习如何落地成“参数探索”机制2.1 把参数从点估计改成分布估计常规训练中模型参数是一个固定值优化器更新的就是这个点。变分学习不这么做它把参数当成随机变量训练目标从“找一组最优参数”变成“学出一个参数的分布”。为了更好理解可以把模型参数想象成一个旋钮。普通训练是把旋钮拨到某个固定位置变分学习是这个旋钮有一定概率处于不同位置你要做的是调整这个概率分布让大多数采样位置都能带来不错的表现而不是只能依赖某一个精确位置。对于 RLVR 来说参数分布的优势在于每次前向计算都等效于一次参数层面的随机探索。因为你采样出的参数和上一次不一样模型生成的策略倾向就会不同。奖励信号可以引导分布向高奖励区域移动KL 约束则防止参数跑出合理范围。2.2 ELBO 的两个目标在 RLVR 里意味着什么变分学习要优化的目标通常写成证据下界 ELBO包含两项。第一项是适应度项在 RLVR 场景下就是可验证奖励。采样出的参数越好奖励越高这一项鼓励参数分布往高奖励区域靠拢。第二项是 KL 正则项约束采样参数对应的后验分布不要偏离先验分布太远。如果没有这一项参数分布会越拉越宽最终采样出的参数可能完全破坏模型的语言能力。这两个目标其实是互相制约的奖励项想让参数尝试更多“好”的位置KL 项想让参数待在安全区域所以实际训练时奖励项和 KL 项之间需要加权。权重设置直接决定探索强度和训练稳定性这个放到后面参数部分细说。2.3 重参数化是能不能回传梯度的关键把参数变成随机变量之后会遇到一个最直接的工程问题采样操作不可导。如果直接从正态分布里采样一个参数值这个值是通过随机过程产生的梯度无法回传到均值和方差上。解决办法是重参数化 trickimport torch import torch.nn.functional as F # 假设 mu 和 log_var 是需要学习的参数统计量 mu torch.zeros_like(weight, requires_gradTrue) log_var torch.zeros_like(weight, requires_gradTrue) std torch.exp(0.5 * log_var) eps torch.randn_like(std) sampled_weight mu eps * std核心只有一行先采样标准正态噪声 eps再用均值加 eps 乘标准差得到实际参数。这样采样过程中的随机性被隔离到 eps 里均值和方差都能正常接收梯度。这个技巧是所有变分参数实现的基础。如果实现里直接对参数采样没有走重参数化后续梯度传播一定会出问题训练曲线会表现出“奖励在动但参数几乎没变化”的假象。3. 完整实验流程从环境到第一个训练曲线这部分我按一个可复现的最小实验来写。标题没有给出具体开源仓库结构下面的流程是基于常见 RLVR 框架和变分参数模块的组合方式。你可以把它理解为一套通用搭建流程。3.1 环境、模型和数据集怎么选先看环境条件模型规模验证思路阶段建议用 1B 以下模型。参数变分化会增加显存和训练时间一开始用大模型会非常难受显存变分参数需要额外保存均值、方差和采样计算图显存占用通常比普通训练多 1.2 到 2 倍数据集选一类有标准答案的任务比如 GSM8K 类数学题或者简单代码修复任务方便用规则计算奖励框架建议用 PyTorch。如果你已经熟悉 LoRA 或 PEFT后面的实现会更容易我的建议是先做一个小规模实验单任务类型、单模型、固定随机种子对比普通 RLVR 和加了参数探索的 RLVR 两条训练曲线。3.2 基于 LoRA 的变分参数实现思路全参数变分化在工程上成本太高。比较务实的做法是把变分参数放在 LoRA 适配器上。LoRA 本来就是在冻结原模型的基础上训练少量低秩矩阵。把 LoRA 矩阵的参数均值化再附加一个方差统计量就能以很小的额外参数成本获得参数探索能力。实现思路大致如下class VariationalLoRALayer(torch.nn.Module): def __init__(self, in_features, out_features, rank8): super().__init__() self.mu torch.nn.Parameter(torch.zeros(out_features, in_features)) self.log_var torch.nn.Parameter(torch.full( (out_features, in_features), -12.0 )) # 初始化时让采样参数接近原 LoRA 初始值 def forward(self, x): std torch.exp(0.5 * self.log_var) eps torch.randn_like(std) sampled_weight self.mu eps * std return F.linear(x, sampled_weight)初始化 log_var 时给一个很小的值比如 -12这样初始阶段采样扰动非常小模型不会因为参数随机性太强而崩掉。等训练稳定后模型会自己决定要不要扩大方差。3.3 奖励定义与优化循环RLVR 的奖励计算一般分两层第一层判断格式。回答能被规则解析出来返回一个基础分解析不出来直接给 0不进入下一层判断。第二层判断内容。答案能匹配标准答案、代码能通过测试用例再给一个内容分。奖励计算出来之后进入变分优化目标loss - reward beta * KL(q || p)reward 是采样参数下的可验证奖励KL 是变分后验和先验之间的 KL 散度beta 是调节探索强度的系数。优化循环可以写成采样一组参数用采样参数生成回答用规则计算奖励计算 KL 项反向传播更新均值和方差注意方差参数的学习率通常要比均值小一些。方差更新太激进采样扰动会剧烈变化训练曲线会非常不稳定。3.4 验证结果怎么判断跑实验时不要只盯训练集奖励要额外准备一个小验证集。我一般每训练一定步数固定随机种子从参数分布里采样几次生成验证集回答看输出质量。这样能看到三个关键信号平均奖励是否在提升说明整体策略水平是否改善奖励方差是否越来越大说明采样参数的表现差异是否过大KL 值是否稳定说明参数分布是否被推到边界如果训练集奖励很高但验证集表现差说明策略已经过拟合需要检查是不是采样次数太少或者 KL 约束太弱。4. 参数与边界哪些参数该变分哪些不要动4.1 适合变分探索的参数类型不是所有参数都适合变成随机变量。根据我的实验经验下面几类比较合适注意力层的投影矩阵。它们影响模型组合不同位置信息的方式微小扰动能改变推理模式输出层附近的前馈网络。它们直接决定最终答案分布对策略探索有帮助LoRA 适配器参数。参数数量少变分化带来的显存压力小适合作为参数探索的载体不建议变分的参数包括embedding 层。它负责基本 token 表示能力随机扰动很容易破坏模型原有的语言能力训练很难恢复位置编码相关参数。这类参数和序列结构强相关扰动会导致生成结构混乱归一化层参数。它们影响训练稳定性变分化后模型的数值稳定性会变差4.2 beta、方差初始化和学习率的配合参数探索效果好不好通常取决于三个值的配合beta 是 KL 项的权重。beta 偏大参数被迫维持在先验附近探索范围小训练稳定但可能退化成普通 RLVR。beta 偏小参数分布扩大探索范围大但稳定性下降。方差初始化决定探索从多大开始。我建议初始 log_var 设为 -12 到 -8 之间。有人喜欢从大方差开始让模型“快速探索”但实际效果往往很差模型会在早期生成大量无意义内容训练很难恢复。学习率方面均值参数可以使用和普通 LoRA 一致的学习率方差参数建议小一个量级。这样均值的优化不会被方差抖动干扰。这三个值不要同时调整。先固定一组跑通再一个个调否则出问题根本判断不了原因。4.3 常见配置参考表下面是一个通用参考配置具体数值要以你的模型和任务为准配置项入门建议进阶尝试方向变分参数载体单层 LoRA 或单层注意力多层 LoRA、部分前馈层log_var 初始化-12-10 到 -8beta 初始值1e-41e-5 到 1e-3逐步调整均值学习率LoRA 默认学习率保持不变方差学习率均值学习率的 0.1 倍0.05 到 0.3 倍之间尝试采样次数每条问题 4 到 8 次8 到 16 次结合显存调整KL 检查频率每 100 步记录一次每 50 步记录验证集采样固定种子采样 1 到 2 次采样 3 到 5 次取平均这个表不是固定标准而是给一个起点。我见过不少实验把 beta 调得非常小奖励确实高了但验证集表现并没有提升最后发现是 KL 约束太弱参数分布偏离太远。5. 实测中高频出现的四个坑5.1 采样噪声太大奖励方差飙升这是最常见的问题。有人打开变分学习的第一反应是把所有参数都变分化结果前几轮训练奖励波动巨大模型甚至开始生成不完整句子。原因通常有两个初始方差设得太大或者不该变的参数被变分了。解决办法很直接把 log_var 初始值调到 -12 附近变分参数限制在 LoRA 或部分层。先让模型稳定再逐步放开探索能力。5.2 探索有余利用不足策略不收敛变分学习天然偏探索但 RLVR 的更新信号本身是稀疏的。如果采样出来的参数大量落在低奖励区域模型可能一直在原地尝试不同策略平均奖励迟迟不涨。应对方式有两个方向。一个是在奖励处理时加基准值或者做优势归一化让低奖励样本的更新方向不那么绝对避免模型被极端低分样本带偏。另一个是在训练后期逐渐增加 beta让参数分布逐步收紧把前期探索阶段切换到后期利用阶段。相当于训练前期让模型广泛尝试训练后期让它稳定在已经找到的好策略上。5.3 显存和训练时间翻倍收益却看不出来变分参数需要保存均值、方差、采样计算图训练时间和显存明显增加。如果你的任务里模型已经能稳定产出正确结果参数探索带来的提升很可能有限。我见过不少实验最终收益只有一两个百分点训练成本却几乎翻倍。要不要用参数探索先判断场景任务越难、奖励越稀疏参数探索的收益越明显任务已经很饱和的时候性价比很低。如果发现收益不明显不要急于调参先检查基线。对比普通动作采样的 RLVR看看相同采样次数和训练步数下参数探索是否真的带来了更多的有效回答。如果没有问题可能不在方法而在任务本身。5.4 测试阶段是否还需要随机采样训练阶段用参数分布采样是为了探索推理阶段有两种选择。一种是把均值直接作为最终参数。这个方式简单、稳定适合常规推理和线上服务。另一种是采样多次取验证集上奖励最高的那组参数。这个方式适合离线优化比如发布前选一轮参数。需要注意不要在线上推理时每次随机采样参数否则生成结果不可复现问题排查和产品化都会很困难。如果产品需要一致输出必须固定参数。6. 适合与不适合的场景6.1 一个判断清单Parameter Exploration for RLVR via Variational Learning 不是一个通用方案它有明确的适用边界。适合的场景数学推理、代码生成这类有标准答案的 RLVR 后训练模型在验证集上已经出现局部最优普通动作采样无法带出新意有额外显存预算能接受 1.5 到 2 倍训练时间愿意花时间调试 beta、方差初始化和变分参数范围不适合的场景通用对话模型。奖励信号来自奖励模型参数扰动容易破坏对话风格和连贯性风险大于收益模型已经接近饱和探索空间几乎没有参数扰动只会带来噪声计算资源非常紧张没有余量支撑双倍训练开销6.2 入门与生产化建议如果你是第一次接触这个方向我建议从最小实验开始一个 1B 以下模型一个数学任务数据集LoRA 加一层变分参数先完整跑通训练流程。不要一上来就追求复杂配置先确认奖励、梯度、KL 项都正常工作再逐步扩展。如果要做生产化重点不是把方法调到最花哨而是把实验记录规范化。每次实验要固定随机种子记录 beta、方差初始化、采样次数、KL 变化、训练集和验证集奖励。没有这些记录你很难判断参数探索到底是带来了真实提升还是只是噪声带来的随机波动。最后说一个经验这类方法真正难的不是实现而是判断什么时候该用、什么时候不该用。先把单任务跑稳再考虑批量任务和更复杂的探索策略。如果基线模型在验证集上已经没有明显瓶颈参数探索大概率只能锦上添花不能雪中送炭。