1. 多模态研究的版图变迁从拼积木到造大脑2024 到 2026 这三年多模态领域发生的变化用一句话概括就是从“怎么把两个模态拼在一起”变成了“怎么让一个模型用多种感官去思考和行动”。如果你还在用 CLIP 时代的思维去理解现在的多模态系统那基本等于拿着功能机的说明书去修智能手机——不是完全没用但大部分地方对不上。我自己是从 2023 年底开始系统跟踪多模态方向的当时主流的玩法还是对比学习那一套图像编码器配文本编码器对齐一下特征空间下游任务再微调。但到了 2024 年中LLaVA、Qwen-VL 这类模型把视觉编码器直接接到 LLM 上之后整个社区的注意力迅速从“表征对齐”转向了“多模态理解与生成”。再到 2025 年Reasoning Agent 和 World Model 这两个概念开始频繁出现在多模态的论文标题里事情就变得完全不一样了。这篇文章想做的事情很明确把 2024 到 2026 年多模态领域的主线脉络梳理清楚重点讲明白三件事——Fusion 机制到底怎么演化的、Reasoning Agent 在多模态里扮演什么角色、World Model 为什么成了下一个兵家必争之地。我会尽量把每个阶段的核心论文、关键技术点和实操中容易踩的坑都讲透适合正在做多模态方向的研究生、准备复现论文的工程师以及想快速了解这个领域全貌的技术管理者。先给一个全局判断2024 年是“连接器之年”2025 年是“推理之年”2026 年是“世界模型之年”。这个划分不是严格的时间切割而是说每年的核心议题有明显的重心转移。下面我按这个脉络逐层展开。2. Fusion 机制的演进从简单拼接走向深度交互2.1 早期 Fusion 的三种基本范式多模态融合这件事最早的做法其实很朴素。我把它归纳为三种基本范式这三种在 2024 年之前的论文里反复出现第一种是早期融合Early Fusion也叫特征级融合。做法是在输入层就把不同模态的特征拼在一起然后送进一个统一的编码器。优点是模型能看到最原始的跨模态交互缺点是不同模态的数据分布差异太大直接拼接容易导致训练不稳定。我试过在视频理解任务里用早期融合RGB 帧和音频频谱直接 concat结果 loss 震荡得厉害后来加了模态特定的归一化层才稳住。第二种是晚期融合Late Fusion也叫决策级融合。每个模态各自过自己的编码器和分类器最后在输出层做投票或加权平均。这种做法实现简单、鲁棒性好但问题是跨模态的细粒度交互完全丢失了。比如图文匹配任务里图像里有一只猫在沙发上文本说“沙发上有只猫”晚期融合很难捕捉到“猫”和“沙发”之间的空间关系。第三种是中间融合Intermediate Fusion这是 2024 年之后的主流。核心思路是在网络的中间层引入跨模态注意力机制让不同模态的特征在多个层级上反复交互。Transformer 的 cross-attention 就是最典型的实现方式。LLaVA 系列用的就是这种思路视觉编码器提取 patch 特征然后通过一个投影层映射到 LLM 的 token 空间再让 LLM 的自注意力机制去处理视觉 token 和文本 token 的混合序列。这里有个容易混淆的点很多人把 LLaVA 的做法叫“晚期融合”因为它是在视觉编码器之后才接入 LLM 的。但从信息流动的角度看视觉特征和文本特征在 LLM 的每一层都在做注意力交互这本质上是中间融合。判断标准不是“什么时候接入”而是“有没有多轮跨模态交互”。2.2 2024 年的关键转折Connector 设计的百花齐放2024 年多模态领域最热闹的方向之一就是Connector连接器的设计。Connector 的作用是把视觉编码器的输出映射到 LLM 的输入空间看似简单但设计好坏直接影响模型的多模态理解能力。我梳理了一下 2024 年主流论文里出现的 Connector 类型大致可以分成四类Connector 类型代表工作核心思路优点缺点Linear ProjectionLLaVA-1.5单层线性映射参数量极小训练快信息损失较大MLP ProjectionLLaVA-1.6两层 MLP表达能力更强参数量增加Q-FormerBLIP-2用可学习 query 提取视觉特征压缩率高适合视频训练复杂收敛慢Perceiver ResamplerFlamingo交叉注意力压缩支持多图输入实现复杂度高我自己复现过 LLaVA-1.5 和 BLIP-2 的 Connector 部分感受非常明显Linear Projection 在简单任务上够用但一旦涉及细粒度视觉理解比如 OCR、图表问答MLP 版本的优势就出来了。而 Q-Former 虽然压缩率高但训练时需要额外的对比学习损失和生成损失配合调参成本高很多。如果你只是想快速搭一个多模态 demo我建议直接从 MLP Projection 开始性价比最高。2.3 2025 年的 Fusion 新趋势动态路由与模态丢弃到了 2025 年Fusion 机制出现了一个很有意思的转向从静态融合走向动态融合。什么意思呢之前的做法是无论什么输入都走同样的融合路径。但实际场景中有些样本可能只需要文本信息就够了有些则需要视觉和文本深度交互。于是就有了动态路由Dynamic Routing的思路。具体来说模型会根据输入样本的特点自动决定走哪条融合路径。比如一个简单的文本分类任务可能直接跳过视觉编码器而一个复杂的图表推理任务则会激活多层跨模态注意力。这种做法不仅提升了效率还减少了不必要的模态干扰。另一个趋势是模态丢弃Modality Dropout的训练策略。在训练阶段随机丢弃某个模态的输入强迫模型学会在模态缺失的情况下也能做出合理推断。这个技巧在真实场景中非常实用因为实际部署时经常遇到某个模态数据缺失的情况比如用户只上传了图片没写文字描述。我在一个商品多模态分类项目里用了模态丢弃模型在只有图像输入时的准确率比不用这个策略高了将近 8 个百分点。2.4 Fusion 实操中的三个关键坑讲完趋势说几个我在实操中踩过的坑这些在论文里基本不会写第一个坑是模态不平衡。文本 token 和视觉 token 的数量往往差异很大比如一段 50 字的文本可能只有 30 个 token但一张 336x336 的图片经过 patch 切分后有 576 个 token。这种数量差异会导致注意力机制偏向视觉模态文本信息被淹没。解决办法有两种一是限制视觉 token 的数量比如用 Q-Former 压缩二是在注意力计算时给不同模态加不同的温度系数。第二个坑是位置编码的冲突。视觉 token 和文本 token 的位置编码方式往往不同直接混在一起会让模型困惑。LLaVA 的做法是视觉 token 不额外加位置编码只靠 LLM 自身的旋转位置编码RoPE来处理。但如果你用的是绝对位置编码就需要仔细设计视觉 token 的位置分配策略。第三个坑是训练数据的模态对齐质量。很多人只关注模型结构忽略了数据质量。我见过一个案例图文对数据里大量存在“图片是猫文本写的是狗”的噪声导致模型学出来的跨模态对齐非常差。在 Fusion 之前先花时间清洗数据比调模型结构带来的收益大得多。3. Reasoning Agent多模态从“看懂”到“想明白”3.1 为什么多模态需要 Reasoning Agent2024 年之前的 MLLM 主要解决的是“感知”问题这张图里有什么、这段文字说了什么。但感知不等于理解更不等于推理。比如给一张复杂的图表问“按照当前趋势2027 年的营收预计是多少”这需要模型不仅看懂图表还要做趋势外推和数值计算。传统的 MLLM 在这种任务上表现很差因为它们缺乏显式的推理过程。Reasoning Agent 的核心思路就是把多模态理解拆解成多个可执行的推理步骤每一步都基于当前观察做出决策然后调用工具或执行动作来获取新信息。这本质上是一个“感知-推理-行动”的循环和强化学习里的 Agent 框架非常像。我个人的判断是Reasoning Agent 是多模态从“工具”走向“助手”的关键一步。一个只能描述图片的模型是工具一个能根据图片内容做决策、调用外部资源、验证假设的模型才是助手。3.2 多模态 Reasoning Agent 的典型架构目前主流的多模态 Reasoning Agent 架构可以分成四个模块感知模块负责把原始的多模态输入图像、文本、音频、视频转换成统一的表征。这部分通常复用现有的视觉编码器和文本编码器。推理模块是核心通常由一个 LLM 或 MLLM 担任。它接收感知模块的输出结合历史记忆和当前任务目标生成下一步的推理步骤或动作指令。工具模块提供外部能力比如计算器、搜索引擎、代码执行器、图像编辑工具等。Agent 可以根据需要调用这些工具来获取额外信息或执行操作。记忆模块存储历史交互信息包括之前的观察、推理过程和动作结果。这对于多轮推理任务至关重要。实操建议如果你要搭建一个多模态 Reasoning Agent不要一上来就追求全自动。先从“半自动”开始——让模型生成推理步骤但每一步由人工确认后再执行。这样既能快速验证架构的合理性又能积累高质量的推理轨迹数据后续用于微调。3.3 2025 年的代表性工作与核心方法2025 年出现了多个有影响力的多模态 Reasoning Agent 工作我挑几个有代表性的讲一下核心思路Visual CoTVisual Chain-of-Thought系列工作把思维链的概念引入多模态领域。核心做法是让模型在生成最终答案之前先输出一系列中间推理步骤每一步都基于视觉观察。比如问“图中有几个红色方块”模型会先定位所有方块再逐个判断颜色最后计数。这种显式推理的好处是可解释性强而且中间步骤可以人工干预和纠正。Tool-augmented MLLM的思路是给 MLLM 配备外部工具。比如遇到需要精确计算的任务模型可以调用 Python 解释器遇到需要最新信息的任务可以调用搜索引擎。关键难点在于工具调用的时机判断和结果整合。我试过一个简单实现让模型在置信度低于阈值时自动调用工具结果发现模型经常在不需要工具的时候也调用浪费了大量时间。后来改成用一个小型分类器来判断是否需要工具效果好了很多。Multi-agent Debate的做法是让多个 Agent 分别对同一张图片或同一个问题给出推理结果然后通过辩论机制达成共识。这种方法在需要高可靠性的场景比如医疗影像分析中很有价值但计算成本也成倍增加。3.4 Reasoning Agent 的评估难题与实操心得多模态 Reasoning Agent 的评估是个大问题。传统的 BLEU、ROUGE 这些指标完全不适合评估推理质量因为它们只看表面文本相似度不看推理逻辑是否正确。目前比较靠谱的评估方式有三种人工评估最准确但成本高基于 LLM 的自动评估用 GPT-4 等强模型来打分速度快但存在偏差基于结果的评估只看最终答案对不对简单粗暴但忽略了推理过程的质量。我在实际项目中用的是混合策略先用基于结果的评估做快速筛选然后对关键样本做人工评估最后用基于 LLM 的评估做大规模回归测试。这套组合拳下来评估成本可控而且能捕捉到大部分问题。还有一个实操心得推理步骤的粒度很关键。太粗的步骤比如“分析图片”没有实际指导意义太细的步骤比如“看第 3 行第 5 列的像素”又会导致推理链过长、容易出错。我的经验是每个推理步骤应该对应一个明确的子目标而且这个子目标应该是可以用一两句话描述清楚的。4. World Model多模态的下一站4.1 World Model 到底是什么World Model 这个概念最早来自强化学习领域指的是一个能够模拟环境动态的模型——给定当前状态和动作预测下一个状态。放到多模态语境下World Model 的含义扩展为一个能够理解多模态环境、预测未来状态、并支持规划和决策的内部模型。举个例子来说明区别。传统的多模态模型看到一张“桌上有一个杯子和一个苹果”的图片能识别出杯子和苹果能回答“杯子在苹果左边”。但它不知道“如果推一下杯子杯子会移动可能会碰到苹果”。World Model 则能模拟这种物理交互的后果。这就是为什么 World Model 被认为是多模态的下一站它要求模型不仅理解当前观察还要能预测未来、支持反事实推理。这对自动驾驶、机器人操作、游戏 AI 等场景至关重要。4.2 多模态 World Model 的核心能力我梳理了一下一个合格的多模态 World Model 至少需要具备四种核心能力第一是状态表征。把多模态观察视觉、文本、音频等压缩成一个紧凑的状态表示。这个表示需要保留足够的信息来支持后续的预测和规划同时又要足够抽象以泛化到新场景。第二是动态预测。给定当前状态和一个动作预测下一个状态。这是 World Model 最核心的能力。在视觉领域这通常表现为视频预测在机器人领域表现为动作后果预测。第三是反事实推理。回答“如果当时做了不同选择会怎样”这类问题。这需要模型能够在不实际执行动作的情况下在内部模拟不同动作的后果。第四是规划与决策。基于预测能力在内部模拟多条可能的行动路径选择最优的一条执行。这就是 Model-based RL 里经典的“在想象中规划”。4.3 2026 年的技术路线之争2026 年多模态 World Model 领域出现了明显的路线分化我把它归纳为三条主要路线路线一视频生成即世界模型。以 Sora 为代表的视频生成模型通过大规模视频数据训练学会了预测未来的视觉帧。支持者认为如果模型能准确预测视频的下一帧说明它已经内化了物理规律和场景动态。但反对者指出视频生成模型可能只是在做像素级的模式匹配并没有真正理解因果关系。路线二显式状态空间模型。这类工作显式地定义状态空间和转移函数用多模态数据来学习状态编码器和动态模型。优点是结构清晰、可解释性强缺点是状态空间的设计需要大量领域知识。路线三端到端 Agent 训练。不显式建模 World Model而是直接训练一个多模态 Agent 在环境中交互通过强化学习让 Agent 内部形成对环境的隐式理解。优点是端到端优化、无需人工设计状态空间缺点是训练成本极高、可解释性差。我个人更看好路线二和路线三的结合用显式状态空间提供结构先验用端到端训练来优化整体性能。纯路线一虽然生成效果惊艳但在需要精确控制的场景下比如机器人操作可靠性还不够。4.4 从零搭建多模态 World Model 的实操路径如果你现在想入手多模态 World Model 方向我建议按以下路径推进第一步从视频预测任务开始。找一个中等规模的视频数据集比如 Something-Something V2训练一个基于 Transformer 的视频预测模型。这个阶段的目标是让模型学会基本的时空动态建模。第二步引入动作条件。在视频预测的基础上加入动作输入让模型学会“给定动作预测下一帧”。这一步可以用机器人操作数据集比如 RoboNet来训练。第三步加入多模态输入。除了视觉再加入文本指令或音频信息让模型学会根据多模态上下文预测未来状态。第四步接入规划模块。用训练好的 World Model 做内部模拟结合 MPC模型预测控制或 MCTS蒙特卡洛树搜索来做规划。这个路径的好处是每一步都有明确的评估指标而且可以复用大量现有工作。我目前推进到第三步踩过的最大坑是状态表示的维度选择维度太低会丢失关键信息维度太高会导致预测模型难以训练。我的经验是状态维度控制在 64 到 256 之间比较合适具体取决于任务的复杂度。5. 多模态研究的工程化落地从论文到产品5.1 模型选型开源还是闭源2026 年做多模态产品第一个要面对的问题就是模型选型。我的建议很直接如果你的核心业务不是多模态本身优先考虑闭源 API如果多模态是你的核心竞争力必须走开源路线。闭源 API比如 GPT-4V、Claude 3 Vision、Gemini Pro Vision的优势是开箱即用、持续更新、无需维护基础设施。缺点是成本随调用量线性增长、数据隐私不可控、无法针对特定场景微调。开源模型比如 Qwen-VL、InternVL、LLaVA-NeXT的优势是可控性强、可以微调、可以私有化部署。缺点是需要自己维护推理服务、模型更新需要手动跟进、效果通常比闭源差一截。我自己的做法是用闭源 API 做原型验证和效果上限评估用开源模型做最终产品部署。这样既能快速验证产品方向又能在确认方向后控制成本和数据安全。5.2 推理优化让多模态模型跑得更快多模态模型的推理成本远高于纯文本模型因为视觉编码器的计算量很大。我总结了几条实用的优化策略视觉 token 压缩是最直接的手段。用 Q-Former 或 Perceiver Resampler 把几百个视觉 token 压缩到几十个推理速度能提升 2 到 3 倍效果损失通常在可接受范围内。动态分辨率是另一个有效策略。根据任务复杂度动态调整输入图像的分辨率简单任务用低分辨率复杂任务用高分辨率。我实测下来在商品分类任务上动态分辨率能减少 40% 的计算量准确率只降了 1.2 个百分点。模型量化对多模态模型同样有效。把视觉编码器和 LLM 都量化到 INT8推理速度提升约 1.8 倍显存占用减少一半。但要注意视觉编码器对量化比 LLM 更敏感建议视觉编码器用 INT8LLM 可以尝试 INT4。批处理优化也很关键。多模态输入的序列长度差异很大动态批处理Dynamic Batching能显著提升 GPU 利用率。我用 vLLM 做多模态推理服务开启动态批处理后吞吐量提升了 3 倍多。5.3 数据管道多模态数据的采集与清洗多模态产品的效果七分靠数据三分靠模型。我见过太多团队在模型上反复调优但数据管道一塌糊涂最终效果怎么都上不去。数据采集阶段要注意模态对齐。图文对数据必须确保图片和文本描述的是同一件事。我建议在采集环节就加入自动校验比如用 CLIP 计算图文相似度低于阈值的直接丢弃。数据清洗阶段要处理三类常见问题重复数据、噪声数据、偏见数据。重复数据用 SimHash 或 MinHash 去重噪声数据用模型置信度过滤偏见数据需要人工审核和平衡采样。数据标注阶段要设计清晰的标注规范。多模态标注比纯文本标注复杂得多因为标注员需要同时理解多个模态。我的经验是标注规范要细化到“什么情况下算匹配、什么情况下算部分匹配、什么情况下算不匹配”并且要提供足够的示例。5.4 部署架构多模态服务的工程挑战多模态服务的部署比纯文本服务复杂主要挑战有三个第一个挑战是模态预处理。图像需要解码、缩放、归一化音频需要重采样、分帧视频需要抽帧。这些预处理操作如果放在主推理进程里会严重拖慢响应速度。我的做法是用独立的预处理服务预处理结果缓存到 Redis主推理服务直接读取缓存。第二个挑战是显存管理。多模态模型的显存占用波动很大因为不同请求的视觉 token 数量差异很大。我建议用显存池化技术预分配一大块显存由推理框架统一管理避免频繁的显存分配和释放。第三个挑战是超时控制。多模态推理的延迟通常比纯文本高一个数量级需要设置合理的超时阈值。我的经验是简单任务单图问答超时设 5 秒复杂任务多图推理超时设 30 秒超时后返回降级结果而不是直接报错。6. 常见问题与排查技巧实录6.1 多模态模型训练不收敛怎么办这是我最常被问到的问题。多模态训练不收敛的原因通常有四个学习率不匹配。视觉编码器和 LLM 的最优学习率往往不同用同一个学习率会导致一方欠拟合、一方过拟合。解决办法是分组设置学习率视觉编码器用较小的学习率比如 1e-5LLM 用较大的学习率比如 1e-4。模态对齐损失权重不当。如果用了对比学习损失权重太大会导致模型只关注对齐而忽略生成权重太小则对齐效果差。我的经验是对齐损失和生成损失的权重比在 1:10 到 1:5 之间比较合适。数据质量差。前面已经强调过这里不再展开。快速排查方法是随机抽样 100 条训练数据人工检查图文匹配质量。批次大小太小。多模态模型的批次大小通常比纯文本模型小因为显存占用大。但批次太小会导致梯度噪声大、训练不稳定。如果显存不够可以用梯度累积来模拟大批次。6.2 视觉幻觉问题怎么缓解视觉幻觉是指模型描述了图片中不存在的内容。这是多模态模型最让人头疼的问题之一。我试过几种缓解方法效果从好到差排列方法一负样本训练。在训练数据中加入“图片中不存在某物体”的负样本让模型学会说“没有”。这个方法效果最好但需要额外构造负样本数据。方法二推理时约束。在生成时限制模型只能描述检测器检测到的物体。这个方法实现简单但依赖检测器的准确性。方法三后处理校验。生成描述后用另一个模型校验一致性不一致就重新生成。这个方法成本高但适合对准确性要求极高的场景。方法四提示工程。在 prompt 里明确要求“只描述你确定看到的内容”。这个方法效果有限但在资源受限时可以作为补充。6.3 多模态推理延迟过高怎么优化推理延迟高的排查思路我整理成了一个速查表症状可能原因排查方法解决方案首 token 延迟高视觉编码器计算量大分别计时视觉编码和 LLM 推理压缩视觉 token、量化视觉编码器生成速度慢LLM 自回归解码慢检查输出 token 数量限制输出长度、用投机采样批处理吞吐低序列长度差异大统计批次内序列长度分布动态批处理、长度分桶显存溢出视觉 token 过多监控显存占用曲线限制输入分辨率、梯度检查点预处理耗时长图像解码和缩放计时预处理各步骤独立预处理服务、缓存结果6.4 多模态 Agent 的工具调用不稳定怎么解决工具调用不稳定是 Reasoning Agent 的常见问题。模型有时候该调用工具时不调用不该调用时乱调用。我的解决方案是三层过滤第一层是规则过滤根据任务类型硬编码哪些工具可用。比如纯视觉问答任务不开放代码执行器。第二层是置信度过滤模型对当前答案的置信度低于阈值时才允许调用工具。置信度可以用生成概率来估计。第三层是结果校验工具返回结果后用一个小模型判断结果是否与当前任务相关。不相关就丢弃避免污染推理链。这三层过滤下来工具调用的准确率能从 60% 左右提升到 85% 以上。剩下的 15% 误差主要来自模型对任务难度的误判这个目前还没有特别好的自动化解决方案需要持续收集 bad case 来迭代。7. 一些个人体会和后续方向做多模态这几年我最大的体会是这个领域的门槛在快速降低但天花板在快速升高。门槛降低是因为开源模型和工具越来越成熟搭一个多模态 demo 可能只需要几天。天花板升高是因为真正做好多模态产品需要同时搞定模型、数据、工程、产品四个维度每个维度都有大量细节。如果让我给刚入行的朋友一个建议我会说不要一上来就追最新的论文先把 LLaVA 系列的代码从头到尾复现一遍。复现过程中你会遇到数据加载、模态对齐、训练稳定性、推理优化等一系列问题这些问题在论文里通常一笔带过但却是实际工作中 80% 的时间所在。后续我比较看好的方向有两个一是多模态 World Model 在具身智能中的应用特别是如何用 World Model 来降低真实环境中的试错成本二是多模态 Agent 的自我进化让 Agent 能够从自己的推理轨迹中学习不断优化推理策略。这两个方向目前都还处于早期阶段但潜力很大。最后分享一个我常用的调试技巧当你不知道多模态模型为什么输出错误时把视觉 token 和文本 token 的注意力权重可视化出来。很多时候问题就出在模型根本没看对地方。这个技巧帮我定位过至少十几个疑难 bug比盲目调参高效得多。