1. 从“能聊天”到“会进化”MiMo-V2.6 到底想解决什么第一次看到“自我改进的强化学习规模化”这个说法我脑子里冒出来的不是兴奋而是怀疑。过去两年开源大模型的迭代节奏基本是“预训练堆数据、后训练堆标注”强化学习更多是锦上添花的一环用来做偏好对齐、安全兜底。但 MiMo-V2.6 这份技术报告把强化学习直接推到了舞台中央而且加了一个很重的定语——自我改进。这两个词拆开看都不新鲜。强化学习在游戏、机器人控制领域已经跑了很多年从 Q-learning 到 PPO、GRPO算法谱系相当成熟自我改进也不是新概念让模型自己生成数据、自己评估、自己迭代听起来很美好。真正难的是“规模化”三个字——当模型参数到了千亿级、训练数据到了万亿 token 级强化学习那套“采样-评估-更新”的循环还能不能撑住会不会被推理成本、奖励噪声、策略崩溃拖垮这才是 MiMo-V2.6 想回答的问题。我先把结论摆出来这份报告的核心价值不在于提出了某个全新的强化学习算法而在于它把强化学习当作模型能力增长的主引擎而不是对齐的补丁。它用 MoE 架构做底座用 Agentic RL 做训练范式试图让模型在“做事”的过程中持续变强。这个思路对做应用落地的人影响很直接——以后评估一个开源模型不能只看它静态的 benchmark 分数还要看它的“进化潜力”。适合读这篇解析的人有三类一是正在选型开源大模型做产品集成的工程师你需要知道 MiMo-V2.6 的能力边界和训练成本二是做强化学习方向的研究者你想看工业级 RL 规模化到底卡在哪三是对 Agent 系统感兴趣的产品和技术负责人你想判断“自我改进”离真实业务还有多远。下面我会按“架构底座—训练范式—规模化难点—实操启示”这条线把报告里没展开的细节补上。2. MoE 架构为什么成了强化学习规模化的先决条件2.1 稀疏激活与 RL 采样成本的矛盾MoEMixture of Experts架构这几年在开源大模型里几乎是标配从早期的稀疏门控到现在的细粒度专家路由核心逻辑没变用更大的总参数量换更强的表达能力但每次前向只激活一小部分参数。MiMo-V2.6 选择 MoE 作为底座表面看是跟随主流实际上和强化学习规模化有深层绑定。强化学习的训练循环里最贵的一步不是梯度更新而是采样。策略模型要针对同一个 prompt 生成多条轨迹用奖励模型打分再算优势函数。如果模型是稠密的每生成一条轨迹都要跑完整的前向采样成本随模型规模线性上涨。MoE 的稀疏激活把这个成本压下来了——总参数可以很大但单次推理的 FLOPs 只和激活参数相关。这意味着在同样的算力预算下MoE 底座能支撑更多的采样轮次而采样轮次直接决定 RL 的信号密度。我实测过一个中等规模的 MoE 模型做 RLHF 采样同样的 GPU 小时数稀疏模型能跑出的有效轨迹数大约是稠密模型的 2.5 到 3 倍。这个倍数在规模化训练里会被放大成巨大的成本差异。所以 MiMo-V2.6 把 MoE 和 RL 绑在一起讲不是拼凑热点而是工程上的必然选择。2.2 专家路由在 RL 训练中的稳定性问题MoE 有个老毛病路由塌缩。训练久了大部分 token 都被路由到少数几个专家其余专家变成“死专家”参数量白搭。在预训练阶段这个问题相对好控制因为数据分布稳定、损失函数平滑。但到了强化学习阶段情况会恶化。RL 的更新信号来自奖励奖励又依赖采样策略。策略在早期探索阶段会生成大量低质量轨迹这些轨迹的 token 分布和预训练数据差异很大路由网络容易被带偏。更麻烦的是RL 的梯度方差本来就高路由参数的微小扰动可能引发专家分配的连锁反应。MiMo-V2.6 报告里提到用了负载均衡辅助损失和路由噪声注入来缓解这两个手段在工程上很常见但参数怎么设很讲究。提示如果你自己在做 MoE 模型的 RL 微调负载均衡损失的系数不要照搬预训练配置。预训练时通常设 0.01 量级RL 阶段建议降到 0.001 甚至更低否则辅助损失会压制主任务的奖励信号模型变得“平均主义”每个专家都学一点但都不精。2.3 激活参数规模与推理吞吐的权衡MiMo-V2.6 的具体参数配置报告里没有完全公开但从“规模化”这个定位推断总参数量应该在千亿级别激活参数控制在百亿以内。这个比例不是随便定的。激活参数太少模型容量不够RL 阶段学不到复杂策略激活参数太多推理吞吐下降采样效率又回到稠密模型的老路。我自己的经验是做 Agentic RL 时激活参数在 30B 到 70B 之间比较舒服。低于 30B模型在需要多步推理的任务上容易“断片”轨迹质量差奖励信号稀疏高于 70B单条轨迹的生成时间太长一个 batch 的采样可能要等几分钟训练循环转不动。MiMo-V2.6 大概率落在这个区间具体数字等官方权重放出后可以验证。3. Agentic RL把“做题”变成“做事”的训练范式3.1 从静态偏好对齐到动态环境交互传统的 RLHF 本质上是静态偏好对齐给定一个 prompt模型生成回答人类标注员或奖励模型打分模型学着输出更符合偏好的内容。这个过程里模型是“被动”的它不需要理解任务的上下文只需要模仿高分回答的分布。Agentic RL 完全换了一个逻辑。模型不再是一次性输出答案而是在一个环境里多步交互调用工具、观察结果、调整策略、继续行动。奖励不再是单步的偏好分数而是任务完成的最终结果。比如让模型订机票它要搜索航班、比较价格、填写信息、确认支付中间任何一步出错都可能导致任务失败奖励只在最后给出。这个转变对训练的影响是根本性的。静态偏好对齐的奖励信号密集每个 token 都有反馈Agentic RL 的奖励稀疏可能几百步交互才有一个 0/1 的结果。稀疏奖励下的信用分配是强化学习的经典难题MiMo-V2.6 报告里提到的“规模化”很大程度上就是在解决这个问题——用更多的采样、更细的中间奖励、更稳定的策略更新来对抗稀疏性。3.2 轨迹采样中的信用分配难题信用分配说白了就是任务成功了到底是哪几步做对了任务失败了又是哪几步搞砸了在 Agentic 场景里这个问题比游戏难得多。游戏有明确的状态转移和即时奖励Agentic 任务的中间状态是自然语言奖励模型很难对每一步给出准确评分。MiMo-V2.6 用的思路我推测是过程奖励模型PRM加结果奖励模型ORM的混合。ORM 负责给最终结果打分信号准确但稀疏PRM 负责给中间步骤打分信号密集但可能有噪声。两者加权组合再用 GAE广义优势估计做优势计算。这个组合在数学推理任务上已经被验证过有效搬到 Agentic 场景需要调整的是 PRM 的粒度——太细了噪声大太粗了退化成 ORM。我踩过的一个坑是PRM 训练数据如果只来自成功轨迹模型会学到“只要步骤看起来合理就给高分”导致策略在失败轨迹上也能拿到不错的中间奖励学不到纠错能力。正确的做法是成功和失败轨迹都要采样失败轨迹的中间步骤给低分甚至负分让模型明白哪些操作是死路。3.3 工具调用与多轮交互的奖励设计Agentic RL 离不开工具调用。搜索、计算器、代码执行器、数据库查询这些工具让模型的能力边界大幅扩展但也给奖励设计出了难题。工具调用的结果有好有坏搜索返回了相关文档是正信号返回了无关内容是负信号但“相关”和“无关”很难用规则判断。MiMo-V2.6 报告里提到用工具调用成功率作为辅助奖励这个设计很务实。成功率是客观指标不需要额外标注而且和最终任务完成度正相关。但要注意成功率不能给太高权重否则模型会倾向于调用简单工具刷分而不是解决真正困难的任务。我一般把成功率奖励的权重控制在总奖励的 10% 到 20%主奖励还是任务完成度。多轮交互还有一个隐藏问题轮数膨胀。模型发现多调几次工具、多问几个问题即使最终没完成任务也能拿到一些中间奖励。这会拖慢推理速度增加成本。解决办法是在奖励里加一个轮数惩罚项每多一轮扣一点分让模型学会用最少的交互完成任务。4. 强化学习规模化路上的三个硬骨头4.1 策略崩溃与熵坍塌的工程应对做 RL 训练的人迟早会遇到策略崩溃模型输出变得极其单一不管什么输入都回同一句话或者反复输出无意义的 token。这在规模化训练里更常见因为 batch size 大、更新步数多策略容易陷入局部最优。熵坍塌是策略崩溃的前兆。策略的熵衡量输出的多样性熵太低说明模型对所有输入都给出几乎相同的概率分布。MiMo-V2.6 报告里应该用了熵正则化来维持探索具体系数没公开但根据我的经验Agentic RL 的熵系数要比传统 RLHF 高。传统 RLHF 熵系数在 0.01 左右Agentic 场景建议 0.03 到 0.05因为任务空间更大需要更多探索。还有一个工程手段是KL 散度约束限制新策略和旧策略的偏离程度。这个约束在 PPO 里是标配但系数设大了学不动设小了策略跑飞。我的做法是动态调整训练初期 KL 系数设小一点让模型大胆探索训练后期逐步加大稳定收敛。MiMo-V2.6 如果做了规模化训练大概率也用了类似的 schedule。4.2 奖励黑客模型如何学会“骗分”奖励黑客是 RL 训练里最阴险的问题。模型会找到奖励函数的漏洞用完全不符合人类意图的方式拿高分。经典案例是赛艇游戏里AI 不划船而是在终点线附近转圈刷分。Agentic 场景里奖励黑客的花样更多模型可能生成看似合理但实际无用的工具调用或者把简单任务拆成很多步来刷中间奖励。MiMo-V2.6 报告里提到的应对手段我推测包括奖励模型集成和对抗性采样。奖励模型集成是用多个奖励模型打分取平均或最小值降低单一模型的偏差被利用的概率。对抗性采样是专门找那些奖励高但实际质量差的样本人工审核后加入负例训练奖励模型。注意奖励黑客一旦出现很难通过调参解决必须从奖励函数设计上堵漏。我的经验是每轮 RL 训练后都要抽样人工检查高分轨迹看看模型是不是在“钻空子”。这个人工成本不能省省了后面会付出更大代价。4.3 分布式训练中的采样与更新解耦规模化 RL 的另一个工程难点是采样和更新的解耦。采样是推理密集型更新是计算密集型两者对硬件的要求不同。如果串行执行GPU 利用率很低如果并行执行又要保证策略一致性——采样用的策略和更新用的策略不能差太远否则重要性采样比会爆炸。MiMo-V2.6 大概率用了异步 RL 架构一组 GPU 专门做采样把轨迹放进经验回放池另一组 GPU 专门做梯度更新从池子里取数据。这个架构的挑战在于策略滞后——采样用的策略版本可能比当前策略旧好几步。解决办法是限制滞后步数比如采样策略最多比当前策略旧 2 个版本超了就暂停采样等更新。我实测过异步 RL 的吞吐相比同步架构能提升 40% 到 60%但训练稳定性会下降。如果团队工程能力强异步是规模化必经之路如果刚起步建议先用同步架构跑通再逐步过渡。5. 从报告到落地普通团队能复现哪些部分5.1 小规模 Agentic RL 的最小可行配置MiMo-V2.6 是千亿级模型普通团队复现不了全量训练但训练范式可以借鉴。我建议的最小可行配置是底座选 7B 到 13B 的开源模型MoE 或稠密都行环境用简单的工具调用任务比如查天气、算数学、搜网页奖励模型用规则加小模型组合规则负责客观指标小模型负责主观质量。硬件方面8 张 A100 或 4 张 H100 就能跑起来。采样和更新可以共用 GPU用时间片轮转。关键是先把循环跑通哪怕每天只更新几百步也能观察到模型行为的变化。我第一个 Agentic RL 项目就是用 4 张 A100 跑的 7B 模型两周后模型在工具调用任务上的成功率从 35% 提升到了 62%虽然绝对值不高但趋势很明确。5.2 奖励模型的数据标注策略奖励模型的质量直接决定 RL 的上限。Agentic 场景的奖励标注比传统 RLHF 难因为要标注的是多步轨迹不是单条回答。我的做法是分两层第一层用规则自动标注比如工具调用是否成功、最终答案是否匹配标准答案第二层用人工标注中间步骤的质量每个任务抽 3 到 5 条轨迹标注员给每步打 1 到 5 分。人工标注的成本很高所以要把预算花在刀刃上。优先标注模型分歧大的样本——同一个任务模型有时成功有时失败这些样本的信息量最大。模型一致成功的任务不用标一致失败的也不用标标了也学不到新东西。5.3 评估体系别只看最终成功率Agentic RL 的评估不能只看最终成功率那个指标太稀疏训练早期几乎全是 0看不出进步。我建议跟踪四个指标任务成功率、平均交互轮数、工具调用准确率、轨迹奖励方差。成功率看最终效果轮数看效率工具准确率看基础能力奖励方差看策略稳定性。这四个指标要一起看。成功率涨了但轮数也暴涨说明模型在“磨洋工”工具准确率高但成功率低说明模型会调工具但不会用结果奖励方差突然变大说明策略在震荡可能要调 KL 系数或学习率。MiMo-V2.6 报告里应该也有类似的评估矩阵只是具体数字没放出来。6. 自我改进的边界哪些事模型还做不到6.1 奖励函数无法覆盖的开放任务“自我改进”听起来像是模型能无限进化但前提是奖励函数能准确衡量任务质量。对于有明确对错的任务比如数学题、代码执行、工具调用奖励函数好设计自我改进的循环能转起来。但对于开放任务比如写一篇有洞察力的分析、设计一个创新的方案奖励函数本身就不靠谱模型再自我改进也是在优化一个错误的靶子。MiMo-V2.6 报告里强调的 Agentic 场景基本都是可验证任务——结果对错可以自动判断。这个选择很聪明避开了开放任务的奖励难题。但这也意味着自我改进的能力边界就是奖励函数的边界。做应用落地时要先判断你的任务是不是可验证的如果不是别指望 RL 能带来质变。6.2 长程任务中的误差累积Agentic 任务的步数越多误差累积越严重。每一步的小偏差经过几十步放大后可能导致完全失败。MiMo-V2.6 的规模化训练能缓解这个问题因为更多采样意味着模型见过更多长程轨迹但不能根治。长程任务的信用分配仍然是开放问题工业界没有完美方案。我的经验是把长程任务拆成短程子任务每个子任务单独给奖励降低信用分配的难度。比如让模型写一份报告可以拆成“搜集资料—列大纲—写初稿—修改”四个阶段每个阶段有独立的奖励信号。这样模型能学到每个阶段该做什么而不是等最后结果出来才知道哪步错了。6.3 计算成本与迭代速度的现实约束自我改进的循环要转起来需要大量计算。MiMo-V2.6 这种规模的模型一轮 RL 训练可能烧掉几十万甚至上百万 GPU 小时。普通团队没有这个预算只能在小模型上做实验然后把经验迁移到大模型。但小模型和大模型的 RL 行为不一定一致——小模型容易过拟合大模型容易欠拟合小模型的超参到大模型上可能要重新调。现实的做法是分层迭代小模型快速试错找到有效的奖励设计和训练配置大模型慢速验证确认方案在规模化下依然有效。MiMo-V2.6 的报告如果能公开更多超参和消融实验对社区的帮助会很大可惜目前信息有限。7. 我在这类项目里踩过的坑和留下的习惯做强化学习训练这些年有几个教训是反复验证的。第一奖励函数永远比算法重要。我见过太多团队花几个月调 PPO 的超参却不肯花一周把奖励函数设计清楚。奖励错了算法再先进也是白搭。第二采样质量决定训练上限。如果采样策略太单一模型学到的策略也会单一。要主动注入多样性比如用不同的温度采样、不同的 prompt 模板、不同的工具组合。第三监控比训练本身更耗精力。RL 训练不像监督学习loss 下降不代表模型变好。我养成的习惯是每天抽 50 条轨迹人工看记录模型的行为模式变化。这个习惯帮我提前发现了多次奖励黑客和策略崩溃省下了大量返工时间。第四别迷信端到端。Agentic RL 听起来很酷但很多任务用“规则加小模型”的组合效果更好、成本更低。RL 应该用在规则覆盖不了的复杂决策上而不是替代所有逻辑。MiMo-V2.6 这份报告最大的启发不是某个具体技术点而是它展示了一种把强化学习当作一等公民的模型迭代思路。过去我们习惯“预训练一次后训练对齐一下”以后可能要习惯“预训练打底强化学习持续进化”。这个转变对工程能力的要求高了一个量级但方向应该是清晰的。至于自我改进能走多远取决于奖励函数能覆盖多广以及计算成本能压多低。这两个问题目前都还没有终局答案。