VLM 奖励模型Reward Model是视觉语言模型对齐流程里最容易被低估的一环。很多人把精力放在策略模型和基座模型上等到奖励打分不准确、偏好排序不稳定、训练过程反复震荡时才发现问题出在奖励模型本身。结构感知微调Structure-Aware Fine-Tuning要解决的正是这种“模型看起来能判断好坏但实际分不清结构错误”的问题。它让奖励模型在打分时不只依赖全局语义相似度还能感知图像里的空间布局、对象关系以及文本里的指令顺序和推理结构。如果你正在做 VLM 的 RLHF、DPO或者要改善模型在空间关系、版面理解、多步推理类任务上的输出质量这篇内容会比较有参考价值。我下面的思路不是论文复刻也不是把某个框架完整讲一遍而是按实际落地顺序拆先说明奖励模型的结构盲区在哪里再给数据准备、训练流程、评估方法和排错建议。全程会用我在类似项目里的判断标准而不是空谈“提高效果”。1. 先想清楚VLM 奖励模型到底在判什么结构信息又丢在哪1.1 奖励模型在 VLM 对齐里的角色用强化学习或者偏好优化训练 VLM 时大致链路是策略模型生成回答奖励模型给回答打分然后根据分数更新策略模型。奖励模型通常是一个能接收“图像 提示词 待评估回答”的视觉语言模型输出一个标量分数或者输出一个表示“好 / 差”的得分 token。这个环节的关键点在于奖励模型的分数决定了策略模型往哪个方向优化。如果奖励模型判断错了策略模型会沿着错误方向越走越远。相当于一个老师给学生的作业批错了答案学生越努力错得越离谱。所以奖励模型不是附属品它基本决定了整个对齐任务的上限。项目里如果发现策略模型输出越来越“长而不准”或者回答风格像了但事实经常错我第一反应不是去调策略模型而是先看奖励模型在相关样本上的区分能力。1.2 普通偏好微调为什么容易丢掉结构信息很多奖励模型微调流程用的是偏好对数据同一张图片、同一个问题给出一个更好回答和一个更差回答让模型学会“前者分数高于后者”。这种训练方式很容易让模型学到表面特征回答更长分数可能偏高措辞更书面化分数可能偏高包含更多视觉词汇分数可能偏高两句话语义相似分数就可能很接近。问题在于很多错误恰恰藏在结构层面“球在桌子左边”和“球在桌子右边”语义上很像但空间位置完全相反“先打开设置再选择网络”和“先选择网络再打开设置”步骤顺序完全反了“图中有三只鸟”和“图中有四只鸟”数量关系错了一个“把红色方块放到绿色方块上面”和“把绿色方块放到红色方块上面”操作对象完全颠倒。如果训练数据里缺少这类硬负样本模型就会觉得两个回答差不多奖励分数拉不开。一旦奖励分数拉不开策略模型也就没有动力去改正结构错误。这就是结构感知微调要补的短板让模型在判断好坏时对结构错误更敏感。1.3 结构感知要补的三种结构具体说结构信息可以从三个层面看结构类型说明典型错误视觉空间结构对象位置、左右上下、遮挡包含、数量关系把左边写成右边把四个写成三个文本逻辑结构步骤顺序、因果条件、指令约束的先后先 A 后 B 写成先 B 后 A跨模态对应结构文本中提到的对象是否对应图像里的实际区域描述对象在图像中不存在或区域对应错误三种结构不是互相独立实际错误经常叠加出现。比如一个回答把“左边的人”写成了“右边的女人”同时又把“先倒牛奶再放冰块”写反这个样本里就同时存在视觉空间错误和文本顺序错误。结构感知微调的目标不是让模型背下所有结构规则而是通过数据和训练目标的调整让模型在打分时把“结构是否正确”作为一项重要依据。2. 结构感知微调的数据准备没有好样本一切训练技巧都是空2.1 偏好对数据的最小格式奖励模型训练最基础的输入是偏好对。一个最小样本至少包含图像、指令、正例回答、负例回答。{ image: sample_001.jpg, instruction: 球在桌子的左边还是右边, chosen: 球在桌子的左边。, rejected: 球在桌子的右边。 }这是最干净的格式。很多项目里我建议先不管什么复杂结构标注先把这种偏好对做成一定能跑通的版本确认训练链路没问题再往里面加结构信息。如果要做结构感知就需要在样本里增加结构相关字段通常是对象列表、关系列表或者文本层面的结构标签。{ image: sample_001.jpg, instruction: 球在桌子的左边还是右边, chosen: 球在桌子的左边。, rejected: 球在桌子的右边。, structure: { objects: [ {name: ball, bbox: [120, 300, 180, 360]}, {name: table, bbox: [300, 280, 700, 420]} ], relations: [ {subject: ball, predicate: left_of, object: table} ] } }注意这只是示例。实际项目里数据结构完全取决于你自己的数据来源和模型设计。关键点是结构标注需要能表达“哪个对象在哪个位置、谁和谁有什么关系”而不是一堆无意义标签。2.2 给数据补结构标注补结构标注有三种常见来源自动标注工具用目标检测、场景图生成、OCR 工具从图像里提取对象边界框、文本位置和简单关系人工标注对数据量小、质量要求高的任务找标注员补充空间关系和顺序关系规则生成根据已有文本标签反推关系比如把“A 在 B 左边”解析成关系三元组。我一般会先做一张结构标注统计表看看有多少样本能覆盖到“空间关系、顺序关系、数量关系、否定关系”这几类。如果某一类覆盖太少后面结构感知的提升也就会偏向其他类别。这里要泼一点冷水不需要一开始就做成完整场景图。先把对象列表和简单关系标注好就能在训练时起到作用。后续如果发现模型在特定结构错误上仍然分不清再针对该类型补标注。2.3 构造结构负样本的两种思路有了基础数据之后结构感知训练最有效的一步是构造硬负样本。硬负样本的意思是正负样本之间只差结构其他条件尽量相同。第一种思路是改写负样本。拿到一个正确回答后针对结构信息做定向改写把“左边”改成“右边”把“先 A 再 B”改成“先 B 再 A”把数量词“四个”改成“三个”把“包含”改成“属于”。改写时要注意别把原意改得面目全非否则模型可能靠语义相关性区分而不是靠结构区分。理想情况是正负样本长度相近、用词相近只有结构点不同。第二种思路是图像侧扰动。如果数据里有成对图像或同一图像的不同裁剪区域可以对输入做结构化扰动。比如用图像裁剪、区域遮挡、对象位置交换等生成对比样本。不过这种方式在训练和推理时都要保持一致性工程成本更高。我更推荐先做文本改写因为成本低、见效快。实际上很多“模型分不清左右”的失败案例就是负样本太少或者负样本太简单导致。把结构负样本数量提上来之后奖励模型的区分能力通常会明显改善。3. 训练流程拆解从基座模型到奖励头的完整链路3.1 运行环境和硬件参考先交代环境要求这部分不同项目的差异很大我给的是通用参考操作系统Linux 为主Windows 也能跑但多卡训练和 DeepSpeed 在 Linux 下更省事Python3.10 或更高主要依赖PyTorch、transformers、accelerate、peft、deepspeed、torchvisionGPU如果全参微调一个 7B 量级的 VLM显存通常需要 40GB 以上A100 或双卡是常见配置用 LoRA 方式可以把单卡需求降到 16GB 到 24GB 之间如果模型在 4B 以下LoRA 配合低分辨率图像12GB 到 16GB 也有可能跑起来。如果你正在选基座模型常见开源视觉语言模型里有不同参数量档位比如 LLaVA 系列、Qwen-VL 系列、InternVL 系列等。实际选型要看显存、许可证、任务数据分布不能只看榜单分数。原始材料没有给出具体推荐我的建议是先从你能跑得动的最大模型开始再根据效果决定要不要换更大的。3.2 模型结构上的改动点奖励模型通常有两种做法在 VLM 的最后一层隐藏状态上接一个 MLP输出标量分数复用语言模型的分类头让模型输出“好 / 差”这样的得分 token。第二种在近期实践里更常见因为可以复用语言模型已有的输出分布也能和策略模型保持一致的模板处理方式。要做结构感知可以在三个位置做文章输入侧增强把结构标注序列化成文本拼到指令后面。比如“已知结构球在桌子左边”让模型先读结构描述再判断回答是否正确。优点是改动小适合快速验证。视觉编码器侧增强给区域特征加位置编码或使用带 grounding 能力的模型把对象边界框信息作为区域 token 输入。效果可能更好但工程复杂度更高。训练目标侧增强在偏好 loss 之外增加一个结构一致性辅助 loss。比如让模型判断两个回答里哪个符合给定结构或者直接分类结构是否正确。我建议不要一上来全做。先做输入侧增强跑通“结构标注进 prompt”这条路再判断要不要动视觉编码器。3.3 训练目标与关键参数奖励模型的核心 loss 通常是偏好排序 loss。在二选一偏好对里常用 Bradley-Terry 形式或 ranking margin 形式目标是让正例分数高于负例分数。结构感知微调会在上面加一个结构辅助 loss。辅助 loss 的权重需要自己调不宜一开始设太大否则主任务会被带偏。下面给一个示例配置不是标准答案model: base: your-vlm-base tuning: lora lora_rank: 16 lora_alpha: 32 target_modules: [q_proj, v_proj, k_proj, o_proj] data: max_length: 2048 image_resolution: 336 train: learning_rate: 1e-5 batch_size: 4 grad_accumulation_steps: 8 epochs: 2 warmup_ratio: 0.05 gradient_clipping: 1.0 loss: preference_weight: 1.0 structure_weight: 0.3关键参数解释参数作用建议learning_rate控制模型更新幅度全参微调从 1e-5 起LoRA 可以试 1e-4 量级batch_size每次迭代样本数偏好对样本要同时包含正负例显存不足时减小 batch_sizegrad_accumulation_steps梯度累积等效扩大 batch但训练速度会变慢max_length文本最大长度视觉 token 和文本 token 都计入不要太短image_resolution输入图像分辨率分辨率高细节多但显存和耗时明显上升structure_weight结构辅助 loss 权重从 0.1 到 0.3 慢慢试不要一步拉太高还有一个容易忽略的点梯度裁剪。奖励模型训练经常出现 loss 突刺梯度裁剪可以避免权重被一个异常样本带飞。我一般会设 1.0 左右具体看 loss 曲线再调。3.4 单条验证和 checkpoint 检查正式训练前一定要先跑单条样例。我习惯把它分成三步单条数据能否完整走完 forward 和 backward输出维度是否正确一个 batch 能否稳定跑完显存和耗时是多少用 50 到 100 条样本做短训练确认 loss 方向正确再全量训练。如果单条样本就报错不要马上怀疑模型结构先看图片预处理、tokenizer、数据字段是否匹配。很多问题出在路径、图片格式和字段缺省上。训练过程中要定期保存 checkpoint并保留一个固定验证集。每次保存后用验证集算一下偏好准确率和结构敏感准确率两个指标一起看。只看训练 loss 下降没有用因为 loss 下降可能只是过拟合到训练集。4. 评估不只是看准确率怎么判断结构感知真的生效4.1 评测集要分成通用偏好集和结构敏感集很多项目只准备一个偏好评测集里面各类错误混合在一起最后只看一个平均准确率。这个做法会掩盖结构短板。更好的做法是准备两个评测集通用偏好集从整体数据中随机采样代表常规任务分布结构敏感集专门挑选或构造那些“正负样本只差结构”的样本比如左右互换、顺序互换、数量改变。训练后分别看两个集合上的准确率。如果只有通用准确率提升结构敏感准确率没变化说明结构感知微调可能没有真正生效只是把其他规律学得更好了。4.2 除平均分之外还要看三类指标结构敏感集上的准确率只是一个起点我还会继续看三类指标分数分位数和标准差把正负样本的分数分布画出来如果正样本分数和负样本分数大面积重叠说明模型没有区分能力平均准确率高可能是少数极端样本撑起来的。结构错误分组统计把错误样本按“空间关系错误、顺序错误、数量错误、否定错误”分组看哪类错误最集中。这样后续补数据就有明确方向。分数边距margin正负样本分数的差值。差值太小说明模型犹豫差值稳定说明结构感知明确。这里可以做一个简单对比表指标含义观察方法偏好准确率二选一判断正确比例在通用偏好集上算整体准确率结构敏感准确率结构扰动样本上的准确率单独构造结构敏感测试集分数边距正负样本分数差看均值、中位数和分位数分组错误率各类结构错误的命中情况按错误类型统计4.3 上线前的坏例分析评估不能只看数字还要翻坏例。我会把错误样本分成三类真错模型确实分不清这类样本要重点分析是数据不够还是结构编码方式不对标注错数据集本身把正负样本标反了这种情况不用改模型改数据数据噪声样本质量太差图像模糊、文本截断、指令歧义直接剔除。翻坏例时我最关注一个现象模型是否只用“文本表面特征”做判断。比如负例只改了左右但模型还是给了高分说明模型没有把“左右”这个结构和图像内容对应起来。这时我不急着调 loss 权重而是先看这种样本在训练集里有多少如果太少补数据比改模型有效得多。5. 资源受限和排错场景下的落地建议5.1 显存不够时怎么降门槛如果机器只有一张 24GB 或更小的显卡不要直接放弃。按下面顺序降负荷用 LoRA 或 QLoRA只训练低秩适配器冻结大部分模型参数冻结视觉编码器只训练语言部分和奖励头显存和训练时间都会明显下降把图像分辨率降到 224 或 256观察结构敏感准确率是否还能保持使用梯度累积用小 batch_size 模拟大 batch开启混合精度训练时用 bf16 能显著降低显存占用。我通常的建议是先冻结视觉编码器用 LoRA 跑通一遍。如果结构敏感准确率提升不明显再考虑解冻部分视觉层。别一上来就全参微调很多项目在低资源配置下也能验证出结构感知是否有效。5.2 训练异常排查顺序结构感知微调会引入额外字段和辅助 loss所以报错面会比普通偏好微调大一些。遇到问题我按这个顺序排查现象排查顺序Loss 在降但偏好准确率不动先看数据标签有没有噪音再看结构负样本难度是否太低最后看结构 loss 权重是不是过大分数整体漂移检查奖励头的初始化、网络输出的 bias必要时在评估时做分数归一化微调后通用能力退化降低学习率、减少 epoch或者在训练数据里混入一部分通用偏好样本图像输入报错检查图片分辨率、通道数、预处理管线、tokenizer 类型是否和模型匹配显存不足 OOM降低 batch_size、降低图像分辨率、缩短 max_length、开梯度检查点特别提醒不要一看到 loss 不降就盲目调高学习率。先看训练日志中有没有 NaN、有没有数据读取错误、有没有样本字段缺失。奖励模型训练里数据问题比参数问题常见得多。5.3 什么时候不要做结构感知结构感知微调不是万能的。我见过三种情况做了反而亏任务本身不涉及严格结构。比如只做开放式主题描述结构错误很少出现结构感知带来的提升非常有限。标注噪音已经很高。如果训练集本身标注不一致再加入结构辅助 loss会把错误的标注当成结构规律学进去。数据量太小复杂结构标注又做不完整。这时不如先把精力花在构造干净的硬负样本上而不是仓促设计复杂结构编码。还有一点要明白结构感知是一种工程取向不是一定要自己从零造轮子。很多开源模型已经具备一定的 ground 能力或空间理解能力可以先测评它们自带能力再决定要不要微调。我的个人建议是先用“改写负样本 结构敏感评测集”把基线奖励模型的短板量化出来。如果结构敏感准确率明显低于通用准确率再投入做结构感知微调如果两者相差不大说明当前任务对结构不敏感不值得加复杂度。项目刚开始时我一般会把这一步当作前置检查而不是直接进入训练。这个方案真正落地时最该盯住的不是结构 loss 参数而是三件事输入数据是否可靠、硬负样本是否够硬、结构敏感评测是否单独存在。很多项目的失败不是方法不行而是数据没有把结构差异表达清楚。先把这三件事做扎实结构感知微调的价值才能体现出来。