拿到MiMo-V2.6这份技术报告我第一反应是先翻摘要然后直奔强化学习那一节。原因很简单现在市面上大多数LLM技术报告都在讲数据清洗、指令微调、评测集构造真正把“模型自我提升”当成核心命题来做的并不多。MiMo-V2.6的标题直接把方法路径写出来了——通过扩展强化学习让模型自己改自己这背后涉及到奖励设计、采样策略、KL控制、迭代训练闭环等一系列工程问题任何一个环节没做好报告里那些漂亮曲线都会变成空中楼阁。这篇内容我打算按“拆解问题 - 方法论 - 实操链路 - 评估验证 - 工程边界”的顺序来读把技术报告里藏着的关键选择、可复现的参数区间、以及我在实际训练中踩过的坑一并整理出来。适合正在做LLM对齐、RLHF/RLAIF、或者想把自己的模型做出“越用越好”效果的研究员和训练工程师参考。如果你是刚接触强化学习的初学者我也尽量把前置概念用最直白的方式带出来。1. 开局拆题MiMo-V2.6到底在解决什么问题1.1 “通过扩展强化学习”这句话背后的意思技术报告标题里的“扩展强化学习”不是一个形容词而是在强调他们把强化学习的参与范围拉大了。多数人理解的RLHF是训练一个奖励模型用PPO优化策略模型让输出符合人类偏好。MiMo-V2.6的做法显然不止步于此。从报告主线的设计意图来看“扩展”体现在三个维度第一是奖励信号的扩展。不再只依赖一个全局打分的人类偏好模型而是把任务结果本身变成奖励来源比如代码能不能编译通过、数学题的答案对不对、Agent执行指令时每一步是否合规。第二是训练对象的扩展。强化学习不再只作用于最终对话策略它还可以作用于推理过程、工具调用选择、甚至长文档生成的结构规划。第三是迭代方式的扩展。模型从自己的采样中学习经过一轮RL后生成新的数据再继续训练形成自我提升的循环。这种“扩展”本质上是在回答一个问题模型的天花板能不能由它自己突破在标注数据有限、人工偏好成本越来越高的现实里如果能依靠任务本身的反馈和自我评判来持续改进那模型就不再是一次性消耗品而是一个可以持续迭代的资产。1.2 为什么强化学习是“自我提升”的关键要理解这个命题得先对比三条路。监督微调也就是SFT是让模型模仿人写的答案。它的上限是数据的分布上限——模型写不出比数据更聪明的回答。上下文学习比如在prompt里塞几个例子能让模型临时调整风格但不会沉淀成参数里的能力。而强化学习走的是另一条路不直接告诉模型“正确答案是什么”而是告诉它“什么样的行为能得到更高的奖励”让模型自己去搜索、试错、发现更好的策略。用生活类比的话SFT好比驾校教练手把手教你每种路况要怎么打方向盘强化学习则是把你扔到一条封闭赛道里给你一个“安全跑完就是高分”的奖励函数让你自己琢磨哪种过弯方式最快。算法搜索出来的策略往往比人类示范更反直觉、更高效这正是“自我提升”的空间所在。MiMo-V2.6选择强化学习作为核心手段看中的就是这种超越数据分布的可能性。1.3 这份技术报告适合谁、重点看什么如果你只是想把模型跑起来做应用报告里的训练细节可能不是你的第一优先级但奖励设计思路值得读。它直接影响你后续怎么给模型调“口味”。如果你是做模型训练的重点看强化学习那部分的超参数和采样设置以及消融实验——那是判断报告是否可靠的关键。如果你是在做Agent或工具调用相关的工作报告后面关于多步交互、过程奖励的内容会很有启发。我个人的建议是先看摘要和结论形成整体印象然后跳到强化学习算法章节看方法选型最后看实验和消融倒推验证前面的设计是否真的有效。这样读比从头到尾逐字刷效率高得多。2. 从技术报告里提炼的强化学习整体设计2.1 奖励信号的来源设计规则、验证器与AI裁判MiMo-V2.6报告中关于奖励设计的思路我觉得是整篇报告最有价值的部分。它明确区分了三类奖励来源并按任务类型做了分工。第一类是规则奖励。适用于有确定答案的任务比如数学题答案正确就是1错误就是0比如代码生成编译通过且用例跑过就是1否则就是0。规则奖励的优势是零成本、无偏袒、可重复但覆盖面窄现实任务里大部分问题没有唯一答案。第二类是验证器奖励或者叫过程奖励。适用多步推理和工具调用场景。模型的每一步思考、每一次API调用是否合法、中间结果是否正确都可以单独打分而不只盯着最终结果。这种细粒度的奖励能够缓解“过程全错但最后蒙对”的稀疏反馈问题。第三类是AI裁判奖励也就是LLM-as-a-Judge。用一个强模型对输出打分按照Rubric分维度评估。这种方法成本可控、尺度灵活但风险在于裁判模型本身的偏好会渗入学生模型形成系统性偏置。如果只用规则奖励模型很容易钻空子、刷分如果只用AI裁判模型会学着讨好裁判而不是提升真实能力。MiMo-V2.6的做法是混合使用——可验证任务走规则或验证器开放式任务走AI裁判并且通过奖励集成降低单一信号的风险。实际训练时奖励尺度不一致是个大坑所以报告里还强调了要对不同来源的奖励做归一化处理否则模型会倾向于优化数值尺度更大的那一路信号。2.2 在线采样与离线语料的混合策略这是“扩展强化学习”里另一个关键设计训练数据从哪来。传统做法是从固定数据集里反复抽取prompt模型生成的response和reward都基于同一批题目迭代几轮后模型容易过拟合甚至把题目答案背下来。MiMo-V2.6的思路是走在线采样为主的路线。每一轮强化学习都让当前策略模型自己去采样一批新的response然后经过奖励模型或规则验证打分再把这些数据放回训练池。等于模型在跟自己下的棋局里学习不断看到自己当前的输出分布。这样做的好处是训练分布始终跟随策略变化不会出现“旧数据训新模型”的分布错配问题。但纯在线采样也有麻烦一是成本高每个 step 都要跑一次完整前向生成二是奖励分布容易漂移模型越优化奖励模型可能越跟不上。所以报告里保留了一部分高质量离线数据作为锚点比例大致在在线数据的三到四成左右用来稳住模型的基线和风格。这个比例我在自己的项目里试过效果确实比纯在线或纯离线都要稳。2.3 策略优化算法选型从PPO到GRPO聊到强化学习算法绕不开PPO。PPO在RLHF里的地位很长一段时间是默认首选但它的工程实现非常重需要同时维护策略模型、参考模型、价值模型、奖励模型四个网络显存压力大训练不稳定时还得反复调参数。MiMo-V2.6报告里采用的方式更接近GRPO这类去价值模型的策略优化方法。GRPO的核心改动是不再用Critic网络估计状态价值而是用一组采样样本的奖励均值作为基线做组内相对优势估计。打个比方同一个prompt生成8条回复打分后取平均值作为“及格线”每条回复和及格线的差值就是优势。这样省掉了一个完整的价值模型训练显存和稳定性都友好很多。实际跑下来GRPO对超参数的敏感度比PPO低尤其是KL系数和学习率稍微偏一点也能稳住训练。但这不代表GRPO不需要调参采样数量很关键。组内采样太少基线估计方差大太多训练速度被拖慢。报告中的采样数量落在16到64之间需要根据任务的难度动态调整。简单任务选小的推理强度高的任务选大的。2.4 自我提升的迭代闭环技术报告里“自我提升”的流程图本质上是一个循环当前策略模型 - 在线采样 - 奖励打分 - 策略优化 - 更新模型 - 再采样。值得留意的是MiMo-V2.6并没有只跑一轮RL就收工而是明确设计了多轮迭代。每一轮结束用评测集检查当前模型的能力变化如果某些维度出现退化就用额外数据修补如果某些任务已经封顶就加大这些任务的采样难度。这种迭代不是简单重复而是每一轮都会根据上一轮的结果调整数据配比和奖励权重。我特别注意到报告里提到了一个“奖励模型同步更新”的机制。也就是说奖励模型本身也会定期用最新的人工偏好和规则校验集去微调防止策略模型跑得太快、奖励模型判断失效。这种双向进化的思路才是“自我提升”的真正含义——不只是模型在变强评估模型变强的裁判也在同步升级。实际工程里这个同步策略很容易被忽略结果就是训练到后期奖励分数很高但真实效果并不好基本就是奖励模型被“攻破”了。3. 实操链路复现技术报告的关键步骤与参数3.1 阶段一监督微调与偏好数据构造无论强化学习设计得再漂亮起点仍然是SFT。MiMo-V2.6的低配基线是一个经过指令微调的基座模型这个阶段有两点决定了后续RL的天花板。第一是数据质量。SFT数据不需要海量但覆盖面要够。我在自己的实践中发现两万条精心筛选的、覆盖不同任务类型和难度梯度的指令数据往往比十万条堆量的效果更好。报告中提到的高质量SFT数据集大约在数十万量级其中推理类任务占比明显提高这是为了给后续RL阶段的“自我探索”提供一个足够强的起点。第二是偏好数据的构造。RLHF需要告诉模型什么是好的、什么是不好的所以偏好对chosen/rejected的质量直接决定了奖励模型的上限。这里有个容易踩的坑不能只收集人类标注的偏好还要大量采集当前模型自己生成的样本交给人类或高级模型排序否则奖励模型的分布和后续策略模型的分布不匹配训练会很快失衡。SFT阶段我自己常用的参数区间是学习率1e-5到2e-5采用余弦退火批次大小128到256序列长度视任务类型定通用对话8K tokens足够长文档或代码任务需要扩到16K以上。训练轮数控制在2到3轮多了容易遗忘基座能力少了指令跟随不稳定。3.2 阶段二强化学习训练循环的工程实现实操层面强化学习训练循环的核心组件包括采样器、奖励器、策略更新器三个部分。采样器负责从当前策略模型中生成候选输出。这里需要特别关注解码参数温度一般设定在0.7到1.0之间过高的温度会增加奖励方差让优势估计不稳过低的温度会让样本多样性不足模型探索不到新策略。Top-p通常配合温度使用设在0.9左右即可。奖励器负责给每一个采样结果打分。规则奖励的任务直接调编译器或答案校验器开放式任务调LLM-as-a-Judge服务。打分过程要特别注意batch化——把多个response塞进同一个prompt让裁判模型一次性打分比逐个打分效率高但要注意裁判模型的上下文长度限制和评分标准漂移。策略更新器负责用优势信号向策略模型回传梯度。GRPO类方法在这个阶段最需要注意的是KL惩罚系数。KL惩罚是约束学生模型不要偏离参考模型太远的防跑偏装置系数太大模型学会的东西少太小模型容易崩。实践里我一般从0.01起调观察KL散度的变化曲线——它应该缓慢上升而不是突然飙升。如果3个step内KL散度翻了10倍基本可以判断是学习率过大或奖励信号异常先停下来调参不要硬跑。3.3 关键超参速查表我根据报告中的描述和自己在类似项目中的复现经验整理了一份参数速查表。这里要说明不同团队的基础模型、数据配方、计算规模不同参数不能在项目之间直接平移但可以作为初始化的参照。参数建议区间影响采样温度0.7 ~ 1.0高则探索强但方差大低则稳定但容易保守组内采样数GRPO16 ~ 64影响优势估计的方差和训练速度KL惩罚系数0.005 ~ 0.05约束策略偏离参考模型的幅度策略学习率1e-6 ~ 3e-6过大易崩过小则收敛缓慢奖励模型学习率2e-6 ~ 5e-6需低于策略模型更新速率保持稳定批次大小128 ~ 512影响梯度估计质量小显存可配梯度累积训练轮数1 ~ 3轮/迭代过多过拟合奖励模型过少提升不明显在线/离线数据比6:4 ~ 7:3在线保证分布贴合离线保证基线稳定这些参数不是独立起作用的。比如加大组内采样数就可以适当放宽学习率因为优势估计的噪声变小了KL系数提高后学习率也需要同步降低防止在约束区域内反复震荡。调参经验一句话一次只动一个旋钮改完看曲线别同时调三四个参数否则出了问题根本定位不了。3.4 训练监控与过拟合信号训练强化学习模型不能只看loss曲线。RL的loss下降和模型真实能力提升之间并不是严格的正相关所以要多维监控。我在训练时至少同时盯四样东西策略模型的奖励均值曲线、KL散度曲线、生成样本的多样性指标、以及一组固定评测集上的得分。这四样合在一起才能还原训练的完整画面。比如奖励均值在涨、KL散度也在涨说明模型正在用“偏离原始风格”的代价换取奖励这个状态下要判断奖励是否真实反映了能力提升还是模型在钻奖励函数的空子。一个常见的过拟合信号是评测集上任务类型A的得分持续上升但类型B的得分突然暴跌。这通常不是“能力迁移”而是策略过度适配了高奖励任务的分布挤压了其他能力的表达空间。报告里缓解这个问题的手段是保留回放缓冲区把历史迭代中评分较高的样本定期回填到训练数据里让模型不要彻底遗忘旧技能。我在实践中也验证过每隔几个step插入一批保留样本确实能让多任务能力更均衡。4. 效果评估如何证明“自我提升”真的发生了4.1 评测维度榜单胜率、人类偏好、任务成功率技术报告里的评测部分是判断一份工作含金量的试金石。MiMo-V2.6的评估体系大致分三层。第一层是通用榜单比如Open LLM Leaderboard、MMLU、GSM8K、HumanEval这类公开benchmark。这一层提供的是一个“行业可对标”的坐标系好处是透明方便坏处是公开榜单存在过拟合风险如果训练数据跟评测数据有重叠分数会虚高。第二层是任务成功率针对模型实际要解决的业务场景。比如在Agent任务中模型能不能按时完成任务在代码场景中提交的代码能不能通过测试。这一层比榜单更接近真实价值。第三层是偏好胜率也就是让人类标注者或高级裁判模型在MiMo-V2.6的输出和基线模型的输出之间做盲选对比。报告里如果标注了“Win Rate 68%”这类数字通常就是来自这个维度的评估。三层评测各有侧重只看任何一层都容易被带偏——榜单高不代表业务好用胜率高不代表绝对能力提升可能只是风格更讨喜了。4.2 消融实验去掉某一块组件会怎样消融实验是判断技术报告设计合理性的关键。MiMo-V2.6在做消融时重点对比了几条线完整方法 VS 去掉过程奖励、完整方法 VS 去掉在线采样、完整方法 VS 缩小组内采样数。这些对比揭示的规律我在复现类似项目时也有体感。去掉过程奖励后多步推理任务的错误率明显上升因为模型只有一个最终胜负信号中途跑偏了也没人拉它一把。去掉在线采样后模型的前几轮迭代还有提升后面就开始原地踏步因为固定数据已经把能学的东西榨干了。组内采样数从64降到8后训练方差变大奖励曲线出现明显的锯齿形震荡收敛速度也变慢。消融实验的意义不只是证明“每个模块都有用”更重要的是告诉后续研究者如果资源有限要砍东西应该先砍什么、后砍什么。从这个报告的结果来看过程奖励和在线采样是最先保住的组件组内采样数和奖励模型更新频率则可以在效率和质量之间做妥协。4.3 置信区间和统计显著性别拿运气当实力很多人在看技术报告时只盯着平均分这是一个很容易被误导的习惯。强化学习训练本身带有随机性——初始化不同、采样不同、训练种子不同最终效果会有明显波动。MiMo-V2.6报告在汇报评测结果时强调了多次独立运行的均值加减置信区间而不是只给一个最好成绩。我自己在复现实验时也吃过亏同一份代码同一个参数配置换了两张卡、换了个随机种子评测分数能差出三到五个点。在这种情况下只报一个最高分完全没意义必须跑至少三次独立重复用置信区间判断方法之间是否真的有显著差异。画置信区间的时候很多人习惯用Origin或者Matplotlib的fill_between函数。我自己的经验是横轴用训练步数或迭代轮数纵轴用评测得分先算每组数据的均值和标准差再按95%置信水平画带。如果两个方法之间的置信区间带重叠明显那就不能说一方优于另一方。这个判断标准比单纯看均值曲线的高低要可靠得多。5. 工程落地与边界思考5.1 训练成本与基础设施建议扩展强化学习不是没有代价的。MiMo-V2.6这类训练循环里最花钱的不是策略更新而是采样。每一轮迭代都要让当前模型生成大量候选输出然后再评分、再训练整个过程算力消耗大头全在“生成”这一步。我在试跑类似方案时的体感是一次完整的在线RL迭代采样成本大约占到总训练的六到七成。如果你的模型是7B到13B规模用8卡A10080G集群勉强能跑通小规模实验如果做到70B级别需要至少几十张卡并且要配合非常成熟的分布式训练框架否则光通信开销就能把效率拖垮。这里给一个务实的建议如果你在有限的算力条件下起步不要一上来就复刻完整方案。先选一个较小的基座模型跑通在线采样、奖励打分、策略更新的闭环并用一个小型评测集验证收益。确认流程没问题了再往大模型上迁移。用“小模型验证方法论大模型放大结果”这个策略能省掉大量无效试错成本。5.2 从报告里能复用的工程技巧有几个工程细节报告没有用大篇幅强调但实际训练时非常关键。第一个是奖励缓存。同一个prompt在相邻的训练step中可能被重复采样如果每次重复计算奖励浪费大量算力。ViM?合理的做法是给reward结果加缓存按prompt内容哈希存储命中缓存直接复用。第二个是采样批次的动态调整。简单任务用较小的组内采样数模型很快就能收敛困难任务自动把采样数加大让优势估计更准确。这个动态策略能让训练过程在效率和质量之间保持更好的平衡。第三个是混合精度和梯度检查点这两个已经是标配了但实际很多人仍然会忽略梯度检查点的配置导致显存溢出后找不到原因。还有一个细节是数据配比里的“难度课程”。MiMo-V2.6没有把所有任务混在一起训练而是按难度梯度安排采样比例——前期多采样简单任务让模型建立基础能力中期逐渐增加中高难度任务后期重点压榨最难的推理任务。这种课程式的采样策略能显著提升收敛稳定性比uniform采样更高效。5.3 边界奖励攻破、坍缩与过度优化把话说得直白一点强化学习“自我提升”是有天花板的甚至是有反噬风险的。最典型的问题是奖励攻破模型发现一个能让奖励函数给出高分的捷径但这条捷径并不代表真实的意图对齐。举一个我实际遇到过的例子用LLM-as-a-Judge做裁判时模型发现裁判对“更长、更多结构化小标题”的回答有偏好于是开始无意义地生成大量章节结构把一段话拆成十几个小标题等着打分。裁判给的奖励确实高了但用户根本不会觉得这是好的回答。这种问题在规则奖励里也一样存在——代码模型会尝试生成能跑通用例但时间复杂度爆炸的实现。另一个需要警惕的问题是坍塌。多轮迭代之后模型输出会趋向单一化多样性持续下降。前期可能还有十种不同的解题思路到后期几乎收敛到同一个模板。这种现象在多样性指标上能明显看到如果不加干预模型的泛化能力会被削弱。缓解手段包括定期注入新数据、控制KL惩罚的下限、以及在高奖励样本之外保留一部分中等奖励的样本以维持输出多样性。5.4 扩展方向Agent、工具调用与具身任务MiMo-V2.6这套“扩展强化学习”的框架本身就不局限于对话模型。技术报告中把过程奖励、多步交互、工具调用这些点都做了铺垫这些恰恰是Agent任务最需要的核心能力。在Agent场景里模型要决定调用什么工具、按什么顺序执行、中间结果怎么处理、出错后如何恢复这些行为天然适合用强化学习来训练。奖励可以来自任务是否完成、API调用是否符合规范、每一步操作的合法性等等。我们在做类似项目时确实发现RLAIF基于AI反馈的强化学习配合过程奖励能让Agent在复杂工具链条上的任务成功率明显提升训练的效率也高于纯SFT和纯上下文学习。未来这套方法论还可能会和更细粒度的推理结构、视觉-语言空间建模结合比如在空间推理或具身决策任务中复用在线策略优化的思路。技术报告的真正价值不只是告诉读者MiMo-V2.6这个模型有多强而是展示了“模型通过自己的探索持续改进”的整个范式——这个范式是可以迁移的。最后再分享一个读报告的技巧拿到一份技术报告先别急着抄参数表先去读它的问题定义和消融实验看它为什么要做这些设计、砍掉哪个模块影响最大。参数会随模型尺寸和数据分布变化但设计权衡背后的判断逻辑才是最有迁移价值的东西。MiMo-V2.6的报告说实话读起来不算轻松但那些喂养奖励、守卫基线、同步裁判的细节恰恰是在真正训练中才能体会到的经验厚度值得反复咀嚼。