多模态大模型VLM看起来已经能识图、问答、聊天但一旦放进需要空间关系的任务比如判断缺失拼图块位置、识别旋转后的碎片很多模型的表现会立刻变得非常不可靠。与其在真实业务中被这类问题坑一次不如提前用一套低成本评测集把模型的“空间推理成色”测出来。本文将围绕一个极简拼图评测基准展开先说明为什么拼图适合暴露 VLM 的弱点再逐步拆解评测任务设计、提示词方案、Python 调用代码、判分规范最后给出当前 VLMs 在空间推理上的典型失败模式与工程层改进建议。无论你是在做模型选型还是在为项目接入多模态能力这篇文章都能帮你建立一条可复现的“空间推理体检”流程。需要说明的是本文并不是在介绍某个已经发布的官方 Benchmark而是要和你一起快速搭建一个最小可用评测原型。我们可以把它理解成一套“拼图版空间推理体检用例集”后续你可以按自己的业务场景继续往外扩。1. 为什么用拼图来考验多模态大模型1.1 空间推理VLM 最容易“翻车”的能力目前主流多模态大模型的优势集中在“语义理解”上给它一张产品图它能告诉你这是什么给它一张报表截图它能总结关键数字给它一张漫画它能讲出叙事逻辑。这类任务本质上依赖的是训练阶段见过的海量图文对模型学会了把图像区域与语言概念进行对齐。可是“空间推理”不一样它要求模型对图像中的几何位置、方向关系、遮挡关系、局部与整体的映射进行实时计算。比如判断“沙发左边柜子上放着什么”很多 VLM 都能答对但换成判断“一个 3×3 网格图中被挖掉的区域应该对应第几号格子”时模型往往需要先理解网格坐标系再把像素位置映射到抽象的格子编号上整个过程没有现成的语言先验可以“兜底”。这种差异很容易被日常 Demo 掩盖。大家拍照、提问、获得一个流畅回答第一感觉是“模型真的很强”。可一旦进入需要精确位置判断的工程场景比如文档版面还原、商品摆放审核、AR 辅助标记、图形化界面自动化测试空间推理能力的短板就会立刻暴露出来。于是我们迫切需要一种对空间能力敏感、又方便人工验证的测试任务。1.2 拼图任务为什么比普通 VQA 更适合做试金石拼图是人类非常熟悉的游戏哪怕是小孩子也能通过观察碎片的边缘、颜色、图案方向完成拼接。它的每一步几乎都在使用空间推理却又不需要太多专业背景知识。因此拼图是评测空间推理的理想载体原因有三点。第一它无法靠“背答案”解决。你很难在网上找到足够多的“3×3 拼图缺一块”图文样本让模型硬记住模型必须真实地感知画面结构。第二它天然包含多项子能力比如局部特征识别、旋转不变性判断、相对位置建模、全局组合规划评测可以拆得很细。第三构造拼图样本的成本很低用一张普通图片和几行 Python 代码就能生成大量用例非常适合作为自建评测集。对比一下常见的 VQA 空间问题比如“球是不是在桌子上面”。这类问题模型往往可以从语言统计规律或者主体关系先验中猜出答案并不一定真正理解了空间关系。拼图任务要求模型把视觉内容和布局位置结合起来判断能有效减少瞎猜的空间。1.3 这类评测和已有通用基准有什么不同目前常见的多模态基准大多偏向“知识问答”和“整体图文理解”。例如部分综合基准会问图片里发生了什么、某个物体属于什么类别这类题目考察的是视觉识别与知识推理的融合能力。真正考察几何空间推理的题目占比偏低而且很多题目仍然以“物体 A 在物体 B 的左边”这类相对位置关系为主。相对位置关系题虽然也有价值但它有两个不足。一方面答案选项通常只有上下左右几个方向模型即使没有精细坐标感知也能靠语言先验蒙对。另一方面这类题目缺少“像素级匹配”的成本模型不需要把某一块内容从旋转后的状态中重新识别出来。本文设计的拼图评测正好补上这块空白它要求模型做到网格位置编号、局部内容识别、旋转变换判断等多个步骤叠加是更高阶的空间结构推理任务。2. 拆解拼图评测背后的 4 项空间子能力2.1 局部图案识别能力拼图的第一步通常是从一堆碎片中找到属于目标区域的那一块。这时模型需要判断碎片中的颜色分布、纹理、边缘是否与完整图中的某个局部区域一致。这与图像检索有些类似但不同的是完整图往往已经被切割模型看到的不是整张原图而是若干独立碎片所以它必须对局部信息足够敏感。实际测试时一个很常见的现象是模型能正确描述碎片上的图案内容却无法确定它在原图中的具体位置。这说明“识别出图案”和“为图案定位”是两种不同的能力。普通 VQA 测试往往会忽略这种差异拼图任务则可以把二者分开观察。2.2 旋转与翻转不变性拼图碎片经常经过旋转玩家需要在大脑中把碎片旋转到正确角度再匹配。对 VLM 来说旋转不变性是一个相当棘手的问题。模型的视觉编码器会把图像切分成若干 Patch这些 Patch 在空间上的相对位置会被加入位置编码但当一个局部区域旋转 90 度或 180 度后Patch 序列的空间分布会发生明显变化模型并不总是能自动对齐。评测时如果只让模型判断“某一块来自哪个格子”而不告诉它该块旋转过模型可能会因为看到的方向不一致而答错。这提醒我们空间推理评测不能只设计“原封不动”的题目要把旋转、翻转这类几何变换作为关键变量放进去。2.3 相对位置与坐标建模拼图还考察模型是否能理解“第几行第几列”这类结构坐标。假设一张图被平均切成 3×3 网格模型需要根据灰色空缺区域的像素位置推算它对应第几号格子。这要求模型能识别九宫格边界能把屏幕坐标空间映射到抽象编号空间还要具备“行列顺序”的推理能力。对于人类来说这是几乎是自动完成的事情但模型很容易出现行列混淆。有些模型会高概率把“第二行第一列”错说成“第一行第二列”说明它对水平和垂直方向的编码并不对称。这种错误在业务场景中可能造成较大影响比如自动排版工具把左侧元素和上方元素搞混。2.4 全局组合规划能力真实拼图往往需要结合边缘、角落、颜色过渡来做全局规划而不是只看单独一块碎片。对 VLM 而言这类任务需要模型在多个空间线索之间做联合推理。比如一块碎片包含圆形的左侧边缘模型需要判断这个圆形在完整图中的大致范围再进一步推理出该碎片属于哪个网格位置。全局组合规划能力的评测样本通常更难构造但它是空间推理天花板的重要组成部分。哪怕一个模型能答对“缺的是第几号格子”也不代表它能完成“把两块碎片的边缘完美拼合”这种连续性任务。因此在一个完善的拼图评测集中我们应该逐步增加题目难度从单格匹配上升到多格拼接。3. 评测环境准备与总体设计3.1 运行环境说明本文的示例代码使用 Python 实现依赖相对简单建议使用 Python 3.9 以上版本。构造拼图图片需要 Pillow 库调用多模态大模型接口需要安装 OpenAI SDK因为目前不少大模型服务平台都提供 OpenAI 兼容接口。如果不想装额外 SDK也可以直接用 requests 发送 HTTP 请求核心逻辑是相同的。依赖安装建议放在虚拟环境中执行避免污染系统 Python。如果你使用的是国产大模型平台还需要确认它的视觉接口是否兼容 OpenAI 的 messages 格式不兼容的地方按官方文档调整即可。版本方面不需要过度纠结本文代码没有依赖特别新的 API 特性重点放在评测思路。pip install pillow pip install openai3.2 评测流程总览整个评测流程不需要搭建复杂服务核心分为四步。第一步是准备评测图片我们可以用程序自动生成带网格结构的合成图片也可以准备一批真实图片但要注意图片的授权和隐私问题不能随便把内部资料上传到在线模型服务。第二步是根据拼图任务生成提示词把图片和问题一起发送给被测模型。第三步是接收模型返回结果并解析答案。第四步是把预测结果和真实标签对比按任务维度统计准确率。3.3 数据目录结构为了方便管理评测样本建议把生成脚本、评测脚本、图片和标签分开存放。下面是一个简单目录结构puzzle-eval/ ├── generate_puzzle.py ├── run_puzzle_eval.py ├── data/ │ ├── grid_missing/ │ │ ├── case_001.png │ │ └── labels.json │ └── rotation_match/ │ ├── case_001.png │ └── labels.json └── result/ └── eval_report.json其中“data/grid_missing”存放缺块定位题目“data/rotation_match”存放旋转碎片匹配题目。labels.json 记录每道题的正确答案以及图片文件路径评测脚本直接读取它即可。这样一个结构即便后续扩展到更多任务类型也能保持清晰的层次。4. 动手实现一个极简拼图评测基准4.1 使用 Pillow 自动生成拼图用例下面我们来实现拼图用例生成脚本。为了让评测样本足够干净并避免原图本身包含太多语言文字干扰程序会先用 Pillow 绘制一张由圆形、矩形、三角形等几何图形组成的合成图片。合成图的好处是版权安全、可复现、容易被人工校验后续替换成真实图片也完全可行。# 文件路径puzzle-eval/generate_puzzle.py import os import json import random import argparse from PIL import Image, ImageDraw GRID 3 CELL_W 200 CELL_H 200 IMG_W GRID * CELL_W IMG_H GRID * CELL_H def create_source_image(seed0): 生成一张合成的几何图形图片作为拼图切割的原图。 rnd random.Random(seed) img Image.new(RGB, (IMG_W, IMG_H), white) draw ImageDraw.Draw(img) # 画一个跨越网格的大圆 cx, cy, radius rnd.randint(150, 250), rnd.randint(120, 200), 110 draw.ellipse([cx - radius, cy - radius, cx radius, cy radius], fill(70, 120, 220), outline(30, 60, 120), width4) # 画一个跨越右侧列的大矩形 x0, y0, x1, y1 360, 260, 520, 450 draw.rectangle([x0, y0, x1, y1], fill(230, 160, 60), outline(150, 90, 20), width4) # 画一个靠近左下角的三角形 draw.polygon([(80, 420), (260, 520), (70, 540)], fill(70, 180, 100), outline(20, 100, 50)) # 画一条斜线增加方向性信息 draw.line([(60, 80), (500, 460)], fill(200, 60, 60), width16) # 随机散布一些小圆点让每个局部区域都有可区分的纹理 for _ in range(80): px rnd.randint(0, IMG_W - 1) py rnd.randint(0, IMG_H - 1) color (rnd.randint(80, 220), rnd.randint(80, 220), rnd.randint(80, 220)) draw.ellipse([px, py, px 4, py 4], fillcolor) return img def draw_grid_line(img, gridGRID): 在图片上画网格线方便模型理解行列边界。 draw ImageDraw.Draw(img) for i in range(1, grid): x i * CELL_W draw.line([(x, 0), (x, IMG_H)], fill(0, 0, 0), width2) y i * CELL_H draw.line([(0, y), (IMG_W, y)], fill(0, 0, 0), width2) draw.rectangle([0, 0, IMG_W - 1, IMG_H - 1], outline(0, 0, 0), width3) return img def make_grid_missing_case(src_img, target_id, save_path): 生成“缺块定位”题目将 3x3 网格中的某一块置灰。 img src_img.copy() draw ImageDraw.Draw(img) row, col divmod(target_id - 1, GRID) x0 col * CELL_W 2 y0 row * CELL_H 2 x1 (col 1) * CELL_W - 3 y1 (row 1) * CELL_H - 3 draw.rectangle([x0, y0, x1, y1], fill(200, 200, 200)) draw_grid_line(img) img.save(save_path) def make_rotation_match_case(src_img, target_id, angle, save_path): 生成“旋转匹配”题目把某一块旋转 angle 度后放在右侧。 left src_img.copy() draw_grid_line(left) row, col divmod(target_id - 1, GRID) box (col * CELL_W, row * CELL_H, (col 1) * CELL_W, (row 1) * CELL_H) piece src_img.crop(box).rotate(angle, expandTrue) gap 30 panel_w left.width gap piece.width 40 panel_h max(left.height, piece.height) 40 panel Image.new(RGB, (panel_w, panel_h), (245, 245, 245)) panel.paste(left, (20, 20)) px left.width gap 20 py (panel_h - piece.height) // 2 panel.paste(piece, (px, py)) draw ImageDraw.Draw(panel) draw.rectangle([px - 2, py - 2, px piece.width 1, py piece.height 1], outline(0, 0, 0), width3) panel.save(save_path) if __name__ __main__: parser argparse.ArgumentParser() parser.add_argument(--num, typeint, default20) parser.add_argument(--out, typestr, defaultdata) args parser.parse_args() os.makedirs(f{args.out}/grid_missing, exist_okTrue) os.makedirs(f{args.out}/rotation_match, exist_okTrue) grid_labels [] rotation_labels [] angles [90, 180, 270] for i in range(args.num): src create_source_image(seedi) missing_id random.randint(1, GRID * GRID) grid_path f{args.out}/grid_missing/case_{i:04d}.png make_grid_missing_case(src, missing_id, grid_path) grid_labels.append({image: grid_path, answer: str(missing_id)}) rot_id random.randint(1, GRID * GRID) angle random.choice(angles) rot_path f{args.out}/rotation_match/case_{i:04d}.png make_rotation_match_case(src, rot_id, angle, rot_path) rotation_labels.append({ image: rot_path, answer: str(rot_id), angle: angle }) with open(f{args.out}/grid_missing/labels.json, w, encodingutf-8) as f: json.dump(grid_labels, f, ensure_asciiFalse, indent2) with open(f{args.out}/rotation_match/labels.json, w, encodingutf-8) as f: json.dump(rotation_labels, f, ensure_asciiFalse, indent2) print(生成完成) print(fgrid_missing: {args.num} 道题) print(frotation_match: {args.num} 道题)运行下面命令即可生成两组测试样本python generate_puzzle.py --num 20 --out ./data脚本会把 20 道“缺块定位”题目和 20 道“旋转匹配”题目保存到 data 目录并在每个子目录下生成 labels.json。生成结果里每张图片都已经包含网格线模型不需要额外理解“网格边界在哪里”而是要把可视网格位置映射成编号。4.2 构造空间推理问题评测题目不是简单地把图丢给模型而是要设计清晰的问题模板。对缺块定位任务问题应该明确说明“3×3 网格、从左到右从上到下编号、灰色区域是缺失块”这样能降低模型对指令理解的误差尽量把误差集中在空间推理本身。如果不写清楚模型在理解问题阶段就可能失败最终准确率低不能完全归因于空间推理能力。对旋转匹配任务问题模板需要强调右图可能被旋转过要求模型判断它对应左图哪个格子。如果有必要还可以让模型同时回答旋转角度但那样会引入额外的输出解析难度建议先作为进阶选项。4.3 调用 VLM 接口获取回答现在编写评测脚本。本文使用 OpenAI 兼容接口来封装多模态输入文本内容使用 text 类型消息图片内容使用 image_url 类型消息并填入 base64 编码。如果你的模型服务不支持这种格式请以服务商文档为准但整体思路是相通的。# 文件路径puzzle-eval/run_puzzle_eval.py import os import re import json import base64 import argparse from openai import OpenAI def encode_image(image_path): with open(image_path, rb) as f: return base64.b64encode(f.read()).decode(utf-8) def build_messages(image_path, prompt): base64_image encode_image(image_path) return [ { role: user, content: [ {type: text, text: prompt}, { type: image_url, image_url: { url: fdata:image/png;base64,{base64_image} }, }, ], } ] TASK_PROMPT { grid_missing: ( 图中是一张被平均分成 3×3 网格的图片其中一个格子被灰色覆盖。 如果按照从左到右、从上到下的顺序给格子编号 1 到 9 请判断灰色格子应该是第几号只输出一个数字不要输出解释。 ), rotation_match: ( 左图是一张被平均分成 3×3 网格的图片。右图是左图中某个格子对应的碎片 但该碎片可能经过旋转。请判断右图碎片原本属于左图的第几号格子 格子编号按照从左到右、从上到下的顺序为 1 到 9。只输出一个数字。 ), } def parse_answer(text): if not text: return m re.search(r\d|[A-Da-d], text) return m.group(0).upper() if m else def format_error(e): return f{type(e).__name__}: {str(e)[:200]} def run_task(client, model, labels, task_name, temperature0.0): correct 0 total len(labels) failed 0 details [] for item in labels: prompt TASK_PROMPT[task_name] messages build_messages(item[image], prompt) try: resp client.chat.completions.create( modelmodel, messagesmessages, temperaturetemperature, max_tokens20, ) raw resp.choices[0].message.content or except Exception as e: failed 1 details.append({ image: item[image], label: item[answer], pred: , raw: , error: format_error(e), }) continue pred parse_answer(raw) is_correct pred item[answer] correct int(is_correct) details.append({ image: item[image], label: item[answer], pred: pred, raw: raw.strip(), correct: is_correct, }) accuracy correct / total if total else 0.0 return { task: task_name, total: total, correct: correct, accuracy: round(accuracy, 4), failed: failed, details: details, } if __name__ __main__: parser argparse.ArgumentParser() parser.add_argument(--task, choices[grid_missing, rotation_match, all], defaultall) parser.add_argument(--model, defaultgpt-4o-mini) parser.add_argument(--api-base, defaultNone) parser.add_argument(--api-key, defaultNone) parser.add_argument(--data, defaultdata) parser.add_argument(--out, defaultresult/eval_report.json) args parser.parse_args() client_kwargs {} if args.api_key: client_kwargs[api_key] args.api_key if args.api_base: client_kwargs[base_url] args.api_base client OpenAI(**client_kwargs) os.makedirs(os.path.dirname(args.out), exist_okTrue) reports [] tasks [grid_missing, rotation_match] if args.task all else [args.task] for task in tasks: label_path os.path.join(args.data, task, labels.json) with open(label_path, r, encodingutf-8) as f: labels json.load(f) report run_task(client, args.model, labels, task) reports.append(report) print(f{task}: total{report[total]}, fcorrect{report[correct]}, faccuracy{report[accuracy]}, failed{report[failed]}) with open(args.out, w, encodingutf-8) as f: json.dump(reports, f, ensure_asciiFalse, indent2)运行评测的命令如下。这里的 api-base 需要替换成你所使用服务平台的地址api-key 也需要通过环境变量或参数传入建议不要写在脚本里。python run_puzzle_eval.py \ --task all \ --model your-vlm-model-name \ --api-base https://your-service-endpoint \ --api-key $YOUR_API_KEY \ --data ./data \ --out ./result/eval_report.json需要注意调用在线模型服务时一定要确认上传图片不包含敏感或未授权信息这是基本的合规要求。评测脚本只是骨架如果被测平台使用完全不同的协议你只需要改造 build_messages 函数让图片以平台要求的格式提交。4.4 答案解析与自动判分空间推理评测的自动判分看似简单实际有不少细节。如果把“只输出一个数字”写进提示词大多数模型会遵守但仍可能出现“答案是5”“5号格子”这类多余文本所以脚本里用正则提取第一个数字。如果未来扩展成多选题也可以把判断逻辑改成匹配 A/B/C/D 选项字母。自动判分还要考虑模型不遵守输出格式的情况。有些模型会输出解释性文字包含多个数字正则提取到的第一个数字可能并不是最终答案。因此更稳妥的做法是在评测中增加二次解析规则或者人工抽检尤其当准确率接近临界值时人工确认能避免误判。4.5 跑通一次完整评测跑通完整评测后终端会输出类似下面的信息注意这只是示例格式不是某个模型的真实成绩grid_missing: total20, correct6, accuracy0.3, failed0 rotation_match: total20, correct11, accuracy0.55, failed0从结果中我们能看到两个任务的难度差异。缺块定位题要求模型把位置映射成编号旋转匹配题则额外要求模型在旋转状态下做内容匹配难度通常更高。如果你的模型在缺块定位上准确率也很低说明模型的基础空间锚定能力偏弱后续再提升提示词可能也无济于事。5. 评测维度的设计别让模型“蒙对”5.1 四选一 vs 开放式回答有些评测为了方便判分会把空间推理题做成四选一。这种方式在人工评测中很方便但在自动评测中容易引入猜测概率。比如四个选项下盲猜准确率是 25%如果模型正确率只有 30%我们很难判断它究竟是具备了一点能力还是仅仅靠选项分布碰运气。所以更推荐混合设计。缺块定位题本身是 1 到 9 的数字输出天然属于开放式回答盲猜概率相对低。旋转匹配题也可以设计成 9 选 1 的数字回答并要求模型只输出数字。这样一来准确率低于 20% 时可以基本判断模型不具备稳定能力高于 50% 时则说明它已经能处理简单的空间位置映射这样的结果更有区分度。5.2 选项顺序打乱与随机扰动如果说有什么方法能快速判断模型是否依赖“位置选项分布”来作答那就是把选项顺序打乱。例如我们可以在展示候选格子时使用随机的编号映射让模型不能简单地按“第一行是1、第二行是2”的固定规律猜答案。另一种随机扰动是改变源图的色调。很多 VLM 对颜色非常敏感如果题目换成灰度图后模型准确率大幅下降说明它更多依靠颜色区域匹配而不是几何结构匹配。这在空间推理测评里是一个值得记录的重要结论有些模型看起来空间推理不错实际是“记忆颜色分布”的结果。5.3 评测 prompt 模板参考为了保持评测的公平性建议所有题目都使用同一套提示词模板不要针对每个模型反复改写。模板要有一个清晰的规则声明、一个输出限制、一个要求。评测想要的不是模型“聪明地猜出用户意图”而是它能否在明确指令下稳定完成任务因此提示词应该足够中性。这里给出一个更规范的模板你正在参与一个空间推理测试。图片中有一个 3×3 网格其中部分格子被处理过。 请仔细观察图片根据题目的描述判断答案属于第几号格子。 格子编号从左到右、从上到下依次为 1 到 9。 请只输出数字本身不要输出任何解释性文字。在真实项目中模板还会增加“不要推测”“如果没有把握也要给出最可能的答案”之类的要求避免模型因为犹豫而输出过多无效内容。6. 实测中常见的坑与排查清单6.1 高频问题对照表在拼图评测过程中会遇到一些比较常见的问题下面按现象、原因、解决思路整理出来。问题现象常见原因解决思路接口返回 400 或 404图片消息格式与平台不兼容检查该平台的图片输入文档改用二进制或 URL 方式返回内容为空部分在线安全策略拒绝处理合成图片查看审核日志尝试修改图像内容或降低敏感度模型输出大段解释提示词约束不够强硬增加“只输出数字”的约束并设置较小 max_tokens多次调用结果不一致推理参数 temperature 过高将 temperature 设置为 0并多次重复取多数图片过小导致看不清生成图片时保存分辨率不足提高 CELL_W、CELL_H 或使用无损 PNG 格式正确率很低但人工看起来简单模型没有真正理解网格编号规则在提示词中补充编号规则并增加一个 few-shot 示例6.2 为什么同一张图多次回答不一致做过 VLM 评测的朋友可能都有类似体验同一张图、同一个问题把 temperature 调成 0 后多数模型给出的答案仍然可能不一样。这里的差异既来自模型内部的采样逻辑也可能来自服务端是否真正开启了随机种子等参数。更关键的是很多空间推理任务会让模型在几个候选答案之间犹豫即使采样概率只差一点点输出也可能跳到另一个数字。因此在最终统计时建议每个样本重复调用 3 到 5 次取多数答案作为最终预测。如果多次结果都不一致说明模型对这张图并没有形成稳定判断这类样本应该单独标记为“不稳定样本”它的存在本身就是一种评测结论。6.3 如何判断是模型不会还是提示词没写好评测新手最容易犯的错误是模型答错就下结论说“模型空间推理不行”但实际可能是提示词没写清楚。要排除这种干扰需要做一个“人类基线对照”。找一位不了解模型输出的同事只给他看图片和提示词让他回答同样的问题。如果人类在不额外解释的情况下能轻松答对说明提示词本身是可理解的模型回答失败可以归因于视觉空间能力不足。尤其要注意的是不要在提示词里使用容易产生歧义的句子。比如“请判断右图碎片原本属于左图的第几号格子”这句话就比“哪块碎片属于哪个位置”更明确。同时要避免在提示词中暴露正确答案的暗示比如“灰色区域旁边的格子编号是多少”这类表达会额外引导模型。7. 从拼图评测看当前 VLMs 的空间推理硬伤7.1 典型失败模式通过拼图测试我们通常会观察到几类典型失败。第一类是“能看见却说不清位置”模型会正确描述图片中有圆形、有矩形但当问题聚焦在第几号格子时它就答不出正确编号第二类是“行列混淆”模型能把回答收敛到 1 到 9但经常把目标格子的行和列搞反第三类是“颜色依赖”当任务图变成灰度图或者源图中颜色对比度下降准确率明显下降第四类是“旋转失配”模型在旋转 90 度后几乎无法正确匹配只有在旋转 0 度或 180 度这种更容易通过全局形状判断的情况下才能答对。这些失败模式说明了同一个核心问题当前不少 VLM 的空间表征仍然偏“语义化”而不是“几何结构化”。它可能记住了“左上角有一块蓝色圆形区域”这种语义描述但并没有真正建立可计算的像素坐标与几何变换模型。7.2 硬伤的模型层原因把模型层原因拆开看主要有三点。一是图像被切分为 Patch 后编码器相对更关注局部语义区域跨区域的全局位置关系并没有被显著强化因此模型很难在脑中维护一个 Consistent 的网格坐标图。二是训练数据里自然图片远多于几何拼图类图片模型对“网格编号映射”这类任务接触很少空间推理更多依赖模型在推理时临时组织稳定性自然不足。三是语言先验的“兜底效应”许多空间问题都能通过“通常某某在某某上方”这类粗粒度先验得到大致正确的回答这种假象在拼图任务中消失了于是模型的真实能力暴露出来。7.3 对落地应用的三点警示如果你正在把多模态大模型集成到自己的产品中以下几点建议值得记下来。第一不要假设 VLM 能稳定完成像素级定位。凡是需要精确边界、坐标、行列关系判断的功能都应该增加检测模型或传统计算机视觉方法作为保底。第二不要把“模型能描述场景”等同于“模型能理解空间”线上使用前必须用你的业务样本做针对性评测。第三当任务涉及图像旋转、镜像等几何变换时最好在评测集里加入这些扰动否则很可能上线后才发现模型在真实数据上表现不佳。8. 改进方向与工程实践建议8.1 评测侧更严格的空间任务设计如果想把这套拼图评测做成更可信的空间推理基准单靠两类任务还不够。可以在现有基础上增加以下维度。第一加入边缘连续性判断任务让模型判断两块碎片是否能严丝合缝地拼在一起模型不仅要关注颜色还要关注纹理渐变方向。第二加入噪声与遮挡扰动在拼图碎片上叠加轻微噪点或遮挡条考察模型是否仍然能完成匹配。第三增加负样本比例让一部分题目没有正确答案例如所有候选碎片都不匹配目标空缺这时模型若能正确回答“没有匹配项”说明它对“是否匹配”有真实判断而不是在所有候选中硬选一个。8.2 模型侧补空间推理能力的可行路线从模型训练角度看合成数据是提升空间推理性价比最高的手段之一。我们可以把一张图随机切割、旋转、翻转、换位自动生成海量带标签的训练样本。这种数据不需要人工标注量级可以做得非常大。模型在训练阶段见过更多“旋转后如何匹配原位置”的样本后可能对空间变换建立更鲁棒的表征。另一种路线是把空间推理与代码执行结合起来。比如遇到拼图匹配需求时模型先识别图上几块关键区域再生成调用图像处理库的代码由外部