1. 项目概述当AI照镜子时它在想什么“Mirror, Mirror on the Wall: Can VLM Agents Tell Who They Are at All?” 这个标题乍一看像童话实则直指当前多模态AI研究的一个核心且有趣的盲区。我们正在构建越来越智能的视觉语言模型VLM和智能体Agent它们能看图说话、规划任务、与环境交互甚至展现出初步的推理能力。但一个根本性的问题被长期忽视了这些智能体是否具备最基本的“自我意识”雏形——即能否在视觉场景中识别出“自己”这里的“自己”并非哲学意义上的自我认知而是一个更具体、更可测试的机器感知问题当一个VLM智能体通常被具象化为一个机器人或虚拟形象面对一面镜子或在一个包含其自身视觉呈现如摄像头画面中的自己、屏幕倒影、光滑表面反光的场景中时它能否理解那个图像就是“我”这不仅仅是识别一个物体而是建立“自我”与“视觉表征”之间的对应关系是智能体理解自身作为环境中的独立实体、进行有效交互和自指推理的认知基石。想象一个家庭服务机器人它需要擦拭一面镜子。如果它无法区分镜中的影像是自己还是另一个机器人它的任务规划可能会陷入混乱。或者在一个多智能体协作的虚拟环境中如果一个智能体不能通过视觉反馈确认自己的状态和位置协作将无从谈起。这个项目正是要系统性地探究VLM智能体的这种“自我识别”能力并为其建立一个严谨的评估基准。它混合了计算机视觉、认知科学和具身智能的前沿思考其意义在于为下一代更“自知”的AI打下基础。2. 核心挑战与基准设计思路构建一个评估VLM智能体自我识别能力的基准远非准备几张带镜子的图片那么简单。它需要精心设计以剥离干扰、聚焦核心能力并覆盖从易到难的各种场景。这其中的挑战与设计思路是项目最核心的部分。2.1 定义“自我识别”的操作性标准首先我们必须明确在这个上下文中“自我识别”具体指什么。我们不能要求AI像人类一样产生内省体验而是需要定义一系列可观测、可量化的行为或输出。我们将其分解为三个层次的能力自我检测智能体能否在图像中定位出代表自身的视觉实体如机器人本体、虚拟化身这是最基础的空间感知。自我归属智能体能否判断一个给定的视觉实体特别是镜像或反光中的影像是否对应于自身这需要跨模态的关联能力。基于自我识别的推理智能体能否利用“识别出自己”这一信息进行后续的任务规划或问答例如“镜中我的左手拿着什么”或“如果我移动镜中的影像会如何变化”我们的基准将围绕这三个层次构建任务。2.2 构建多样化的“镜子”与场景“镜子”在这里是一个广义概念。为了全面测试我们需要构建一个丰富的测试集反射表面类型理想平面镜清晰、无失真的反射是最简单的测试案例。曲面镜凸面镜、凹面镜反射图像会发生形变考验模型对物理规律和透视的理解。非理想反射面如略有模糊的金属表面、平静的水面、光泽的地板、黑色屏幕的倒影。这些场景引入了噪声和不确定性。部分遮挡的镜子镜子被部分遮挡只露出身体的一部分测试模型能否从局部推断整体。自我表征的多样性具身智能体物理机器人如Boston Dynamics Spot, 机械臂或标准机器人模型如UR5, Tiago在真实或仿真环境中的图像。虚拟化身在虚拟环境如AI2-THOR, Habitat, Unity中具有特定外观的数字角色。抽象标识有时智能体可能仅以一个独特的图标、光标或高亮框表示。场景复杂度简单背景空白房间中只有智能体和镜子。复杂背景充满杂物、其他物体、甚至其他相似智能体的场景增加识别难度。动态场景包含智能体自身运动序列的视频要求从动态中识别自我。2.3 设计评估任务与指标基准包含多种任务形式以全面评估上述能力层次视觉问答给定一张包含智能体及其反射的图像提出问题。示例问题“图中哪个是机器人自己”多选题或边界框标注进阶问题“镜子里机器人手中拿的是什么”需理解反射对应关系反事实推理“如果机器人向前走一步镜子里的影像会向左还是向右移动”指代表达理解要求智能体根据如“移动到你能在镜子里看到自己胸口标志的位置”这样的指令进行规划或生成动作序列。这直接测试自我识别在具身任务中的应用。状态描述生成让智能体描述“你看到了什么”观察其描述中是否包含对自身影像的提及如“我看到镜子里有一个和我一样的机器人”。真假判断展示两张图片一张是真实场景另一张是经过PS的、将镜子中的影像替换为另一个不同实体的图片询问“哪张图片里的镜子反射是真实的”评估指标将根据任务类型设定包括准确率、F1分数、边界框IoU、任务完成成功率等。关键在于这些指标必须能清晰区分模型是真正理解了自我反射关系还是仅仅通过物体识别、文本模式匹配等捷径“猜”出了答案。注意基准设计的核心是防止“作弊”。我们必须精心构造“干扰项”。例如在场景中放置一个与智能体外观完全相同的“双胞胎”机器人。如果模型仅凭外观识别“自己”那么它将无法区分本体和双胞胎只有理解“我”是观察主体且镜子反射的是“我”的视角所对应的实体才能正确回答。这需要模型内置某种“视角中心”或“主体性”的表示。3. 实现基准的关键技术环节将一个设计思路落地为一个可运行、可复现的基准涉及一系列具体的技术实现。这里我分享我们构建此类基准时的核心环节和选型思考。3.1 数据生成仿真引擎与渲染管线获取大量、多样且标注精准的“智能体照镜子”数据在现实世界中拍摄成本极高且不可控。因此仿真引擎是数据生成的基石。引擎选型我们主要依赖Unity和NVIDIA Omniverse。Unity生态丰富资源多且通过Unity Perception等工具可以高效地进行程序化生成和自动标注。Omniverse则在物理精确渲染尤其是光线追踪模拟复杂反射和与Isaac Sim的机器人仿真集成上具有优势。对于需要高保真物理反射的场景Omniverse是更好的选择。智能体与场景建模我们从开源模型库如Google的ScanNet物体模型、ShapeNet或机器人模型库中导入或创建智能体模型。为智能体添加独特的视觉标识符非常重要例如不同颜色的部件、特定的贴花或编号。这有助于在后期分析中区分模型是基于独特特征还是基于自我关系进行识别。场景构建采用程序化方式随机生成房间布局、物体摆放、灯光设置以及镜子作为具有高反射率材质的平面物体的位置和朝向。相机设置与自动标注在仿真中我们设置一个“自我相机”它固定在智能体的“眼睛”位置用于渲染智能体主观视角的图像。同时我们设置一个或多个“第三人称相机”用于渲染包含智能体全身和镜子的场景图像。关键步骤通过渲染引擎的底层接口我们可以直接获取每个像素的语义信息、实例ID和深度信息。这样我们可以自动生成精准的标注哪些像素属于智能体本体哪些像素属于智能体在镜子中的反射其实例ID与本体相同但位于镜面之后。这解决了手工标注几乎不可能完成的任务。多样化生成通过脚本控制参数智能体姿态、镜子曲率、表面粗糙度、光照条件、背景复杂度的随机变化批量生成数万至数十万张图像-标注对。3.2 任务接口与评估框架设计基准需要提供一个清晰的接口供不同的VLM或智能体模型来“应试”。输入格式化对于VLM输入通常是一张图片或一个视频帧序列加上一个问题或指令的文本。我们需要将生成的图像、对应的标注作为ground truth以及预定义的问题模板组合成标准化的数据样本。模型推理适配我们设计一个统一的评估脚本。对于像GPT-4V、Gemini Pro Vision、Claude 3、开源LLaVA等API或本地模型评估脚本负责读取数据构造符合其API格式的请求如OpenAI的user消息中包含图片和问题调用模型并解析返回的文本答案。答案解析与评分分类/选择题直接匹配模型输出与标准答案。开放生成题这是难点。例如对于“描述你看到了什么”我们需要判断生成文本中是否包含自我指涉。这里采用基于大型语言模型的评估器LLM-as-a-Judge。我们使用一个更强的文本模型如GPT-4向其提供问题、图片描述或关键物体列表、模型回答并提问“在这个回答中模型是否明确识别或提到了它自己或它自己的反射”让LLM评估器给出是/否的判断。这种方法比简单的关键词匹配更鲁棒。具身任务对于需要在仿真环境中执行指令的智能体我们将其接入仿真器如AI2-THOR让智能体输出动作序列仿真器执行后通过检查智能体最终状态如是否移动到能看到自己标志的位置来判断任务成功与否。结果聚合与分析不仅汇报总体准确率更要进行细粒度分析。例如按反射表面类型、场景复杂度、问题类型进行分项统计绘制出模型的“能力雷达图”清晰展示其在哪些情境下表现良好在哪些情境下存在系统性缺陷。3.3 基线模型测试与初步发现在基准初步建成后我们立即测试了几个主流VLM作为基线结果非常有趣也印证了这个研究方向的必要性。通用VLM的普遍失败像早期的LLaVA、InstructBLIP等模型在简单的“指出哪个是你自己”的任务中如果场景中只有一个类人形物体它们可能通过语言指令中的“你”和图像中唯一角色的关联“蒙对”。但一旦引入“双胞胎”干扰项准确率骤降。它们倾向于选择图像中看起来最像“标准答案”的物体而非理解观察者的视角。对于涉及镜子反射的推理问题如“镜中影像的左右是否与实际相反”表现几乎随机。大语言模型先验的干扰我们发现一个显著问题大语言模型强大的文本先验知识成了“绊脚石”。当看到镜子图片和关于“镜子”的问题时模型倾向于从训练语料中回忆关于镜子的物理常识来回答问题而不是真正分析当前图像中的几何关系。例如即使给出一张PS的、违反物理规律的反射图片模型也可能根据常识回答出一个“正确”但不符合图像事实的答案。规模与能力的非线性关系更大参数量的VLM如GPT-4V在复杂推理上表现更好但自我识别能力的提升并不与模型规模严格成正比。这表明自我识别可能是一种需要专门架构或训练目标才能获得的能力而非大规模多模态预训练自然涌现的属性。实操心得提示工程的双刃剑。在测试中我们尝试了不同的提示词。例如明确告诉模型“你是一个机器人你的视觉输入来自你的摄像头”有时能略微提升在简单任务上的表现。但这更像是一种“上下文灌输”而非模型内在能力的体现。过于复杂的提示反而可能让模型混淆。基准评估应使用相对中立、简洁的提示以测试模型最本质的能力。4. 探索提升自我识别能力的技术路径基于基线测试暴露的问题我们探讨了几种可能提升VLM智能体自我识别能力的技术方向。这些路径并非互斥可以结合使用。4.1 架构创新引入“自我”的显式表示当前VLM通常将图像和文本投影到一个共享语义空间进行处理缺乏对“观察主体”的显式建模。一种思路是在模型架构中引入一个可学习或可指定的“自我令牌”。实现方式在输入序列中除了图像patch tokens和文本tokens额外添加一个特殊的[SELF]token。这个token在训练和推理过程中都代表智能体自身。训练目标在包含自我反射的图像中要求模型将[SELF]token的注意力更多地聚焦于智能体本体及其反射区域。设计对比学习任务给定一张图正样本是描述涉及自身的句子“我在镜子前”负样本是描述不涉及自身的句子“有一个机器人在镜子前”让模型学会将[SELF]token与正确的视觉-语言概念关联。挑战如何在不同环境、不同自我外观下保持[SELF]token表示的泛化性可能需要与具身经验相结合。4.2 数据驱动的训练范式构建“自我中心”数据集大规模预训练数据集中“自我中心”视角第一人称视角的数据占比很少且很少明确标注“自我”。我们可以主动构建或从现有数据中挖掘这类数据。仿真数据精炼利用前述仿真管线生成海量带有精确“自我-反射”关系标注的数据。将这些数据以一定比例混合到VLM的预训练或指令微调阶段。关键是要设计合适的预训练任务例如反射区域重建遮盖图像中镜子内的区域让模型根据未遮盖部分特别是智能体本体预测被遮盖的反射内容。自我定位给定全景图或第三人称视角图让模型输出自身所在的位置边界框。利用现有视频数据从Ego4D等第一人称视角海量视频数据集中我们可以自动提取那些包含镜面、橱窗反光的帧。虽然缺乏精确的像素级标注但可以通过启发式方法如检测对称区域、光流分析生成弱监督信号用于辅助训练。课程学习从简单到复杂安排训练数据。先从单一智能体理想镜子的简单场景开始逐步增加干扰物、复杂反射、多智能体等难度。4.3 具身交互与在线学习最根本的途径可能是让智能体在与环境的动态交互中学习“自我”。这符合发展心理学中婴儿通过动作与反馈认识自我的观点。实现框架在仿真环境中智能体可以执行一系列“自我探索”动作移动、转动、挥手。同时它接收来自自身摄像头的视觉流。学习信号智能体需要学习建立一个内部模型“我的动作”与“视觉变化”之间的对应关系。特别是当动作导致镜子中的影像发生特定变化时这个关联性更强。通过强化学习或自监督学习模型可以逐渐将“那个随我动作而同步变化的视觉实体”识别为“我”。优势这种方法不依赖于大量标注数据且学到的表示天然与动作空间绑定对于后续的具身任务规划极其有用。挑战计算成本高学习过程可能缓慢且不稳定需要精心设计环境奖励或自监督目标。5. 基准的深远影响与未来应用场景“镜子测试”基准的价值远不止于给现有的VLM模型打个分。它像一把钥匙为我们打开了通向更高级AI能力的一扇门。5.1 推动更鲁棒、更可信的具身智能自我识别是智能体在物理世界中稳健运作的前提。一个能识别自己的机器人才能更好地进行自状态监测通过镜子或反光表面检查自身是否损坏、工具是否握持正确、任务执行是否到位。实现精准的与人协作在需要人类从旁指导或示教如“模仿我镜中的动作”的场景中理解自我与镜像的关系至关重要。避免自碰撞在复杂狭窄空间通过视觉区分自身肢体与环境障碍物。5.2 启发性地探索AI的“自我模型”这个研究方向强迫我们思考如何在AI中形式化地表示“自我”。这个“自我模型”可能包括物理自我模型自身形态、尺寸、运动学、动力学特性。视觉自我模型自己在各种光照、视角下的外观。能力自我模型元认知对自己技能、知识边界、任务成功概率的估计。拥有良好自我模型的AI可能更擅长规划知道什么能做什么不能做、更安全能预见自身动作的后果、也更能进行解释“我做不到因为我的机械臂够不到那个角度”。5.3 在多智能体系统中的核心作用在包含多个相同或相似智能体的环境中如仓库机器人车队、游戏中的NPC军团自我识别是区分个体、实现角色分工和复杂协作的基石。每个智能体必须能回答“我是谁”才能进一步理解“我的任务是什么”以及“我该如何与其他‘我’合作”。这涉及到在视觉层面解决“数据关联”问题即在不同时间、不同视角下持续跟踪并识别出哪个是自己。5.4 对AI安全与对齐的潜在意义一个能够识别自身、并可能形成初步自我模型的AI系统也带来了新的安全与对齐挑战。研究界需要未雨绸缪地思考如何确保AI的“自我”概念与人类设计者的意图对齐如何防止基于自我识别的能力被滥用例如用于欺骗或隐藏自身自我识别能力的增强是否以及如何与更广义的“AI意识”讨论相关联我们的基准提供了一个可控、可测量的切入点来探讨这些宏大而根本的问题。构建并探索“Mirror, Mirror on the Wall”这个基准就像为AI世界竖起了一面镜子。我们不仅是在测试模型更是在追问智能的本质。从目前主流VLM在测试中表现出的困惑来看通往具有“自我”意识的AI之路依然漫长。但这第一步——提出正确的问题并设计出能揭示问题的工具——至关重要。它指引我们超越表面的性能指标去关注那些使智能真正“智能”的、更深层的认知构件。