最近和做具身智能的朋友交流时大家不约而同聊到一个话题机器人模型的泛化能力到底该怎么突破。以前训练一个抓取模型换一个相机角度、换一张桌子颜色、换一种物体材质可能就要重新采集数据、重新训练落地周期很长。而这几年的机器人基础模型包括最近被反复讨论的 Skild S1核心思路都是想把“通用性”做出来让一个模型能适应多个本体、多个场景、多种任务。这篇文章会围绕 Skild S1 这类机器人基础模型展开重点拆解它提出的“视频即提示词”这一交互范式。我们会先解释机器人基础模型是什么再分析视频提示词背后的技术逻辑然后给出一个最小工程实现示例最后整理部署中常见的坑、安全问题以及团队落地建议。无论你是做机器人算法、后端开发还是刚进入具身智能领域的初学者这篇文章都能帮你建立一套相对完整的认知框架。1. 为什么机器人需要“基础模型”1.1 传统机器人开发的困境传统机器人应用开发本质上是在为一个固定场景写“专用逻辑”。机械臂抓取某个零件视觉模型识别固定位置的工件路径规划模块基于事先建模好的环境运行。这种方式的优点是稳定、可控但缺点也很明显场景一变整套系统就要重新调参。举一个很实际的例子。一条流水线上机器人要抓取红色圆柱体。你在实验室里用同一型号相机、同一光照条件、同一桌面高度模型准确率能到 98% 以上。可到了客户现场换了自然光、换了传送带颜色、换了更复杂的背景准确率可能直接掉到 70% 以下。于是团队开始补数据、调阈值、加规则项目周期从两周拖到两个月。这背后的本质问题是传统模型把“任务”和“环境”绑得太死了。模型记住的不是“抓取圆柱体”这个抽象概念而是“在某个像素分布下执行抓取动作”的统计规律。一旦输入分布偏移模型就失效。1.2 从专用模型到基础模型大语言模型给 AI 领域带来的最大启示是预训练一个大规模模型然后用少量数据做适配可以解决大量下游任务。机器人领域也想复制这条路——先在大规模异构数据上预训练一个模型让它理解“世界是怎么运作的”“物体长什么样”“动作怎么执行”然后在新任务、新环境、新本体上做轻量级适配。这就是机器人基础模型的基本思路。Skild S1 这一类模型的特点是在多本体数据上训练不绑定某一种机器人型号输入包含视觉、语言、力觉、关节状态等多模态信息输出直接是机器人动作指令或底层控制信号支持通过视频、文本、目标图像等方式描述任务。换句话说基础模型希望做到的是“一个模型多种机器人多类任务”。这种通用性正是“视频即提示词”能成立的前提。1.3 如何理解 Skild S1目前 Skild S1 的公开技术细节有限以下分析更多基于机器人基础模型行业的通用技术路径具体能力边界和参数细节要以官方发布的技术报告和 API 文档为准。从行业背景看Skild S1 的核心定位是做“可跨本体、可泛化的机器人智能底座”。它不只是做视觉识别而是要把视觉、语言、动作策略融合成一个端到端系统。开发者拿到这类模型后不需要从零训练每一个任务而是通过输入一段视频、一句自然语言指令让模型理解任务目标并生成动作。这类模型的出现把机器人开发的范式从“为每个任务训练模型”变成了“为每个任务写提示词”。开发者的核心工作从数据采集和模型训练逐渐转向任务拆解、提示词设计、安全边界控制和闭环评估。1.4 Skild S1 与视频即提示词的关系为什么要强调“视频即提示词”因为文本提示词在机器人任务里表达能力有限。你可以用一句话说“把红色杯子放到托盘里”但这句话没有告诉模型杯子当前在哪个位置杯子的把柄朝向哪里托盘是平的还是有凹槽抓取时应该用三指捏还是掌心包覆这些信息靠文本描述非常低效靠标注数据又太昂贵。视频天然包含这些信息。一段短视频同时提供了物体外观、空间位置、抓取姿态、运动轨迹、任务目标。所以“视频即提示词”的提法本质上是把任务描述从“离散文本”升级为“连续视觉轨迹”让模型能从示例示范中理解任务。2. “视频即提示词”到底是什么2.1 提示词在模型时代的意义提示词Prompt最早流行于大语言模型。用户通过一段自然语言描述让模型生成对应的回答。它的本质是把“任务意图”编码为模型能理解的输入格式。但提示词不一定只能是文字。在视觉语言模型里提示词可以是图像在语音模型里提示词可以是音频。只要模型能理解这种模态它就可以作为任务描述的载体。机器人基础模型把视频作为提示词逻辑上是完全一致的。2.2 视频即提示词的核心思想“视频即提示词”可以这样理解你给机器人看一段人操作机械臂完成任务或者纯人手的示范视频机器人就把这段视频当作“任务目标”来理解。它的任务不再是“识别某张图片里的物体”而是“复现视频中的操作过程同时适应当前环境”。这包含三层能力任务理解从视频中提取出“要做什么”状态对齐把视频中的物体状态和当前环境中的物体状态建立对应动作生成输出与视频意图一致、且符合当前机器人运动学约束的动作序列。你可以把它类比为“视觉版的 few-shot 学习”。视频就是你的示例样本模型不需要重新训练只需要推理时把这个示例当作条件就能在新的场景里执行类似任务。2.3 与文本提示词、目标图像提示词的对比下面用一个表格对比三种任务描述方式任务描述方式表达能力信息密度实现难度适用场景文本提示词抽象目标低低任务目标明确、环境相对固定目标图像提示词目标状态中中需要指定物体最终姿态视频提示词完整流程高较高需要指定动作流程、操作顺序、姿态变化可以看到视频是表达能力最强的一种任务描述方式。它不只是告诉模型“目标是什么”还告诉模型“过程怎么走”。这对于机器人操作类任务尤其重要因为很多任务的目标状态很难用单张图像表达清楚。比如“拧开瓶盖”这个任务单张目标图是瓶盖被打开的状态但模型不知道是一手固定瓶身、一手旋转瓶盖还是直接用夹爪旋转整个瓶身。一段视频就能把这个过程完整表达出来。2.4 视频提示词如何变成机器人动作模型接收到视频提示词后需要将其转换为机器人可执行的动作大致流程是这样的视频编码把视频帧序列编码为视觉特征序列跨模态对齐将视觉特征与当前机器人观测相机画面、关节角度对齐动作预测基于对齐结果逐帧或逐段时间步生成动作指令安全校验对输出动作做限位、力度、速度检查底层执行把动作指令下发到机器人控制器。在实际系统中这个流程不一定是完全端到端的可以是“视频编码 策略模型 安全过滤”的分层架构。但无论如何视频都扮演了“任务条件”的角色它像提示词一样引导模型生成行为。值得注意的是视频提示词并不是永远需要完整视频。在实际部署中常见的做法是把视频先离线处理成“任务嵌入向量”推理时只需要加载这个向量这样可以减少实时计算压力。这个思路和语言模型里“把 Prompt 预计算为 KV Cache”是类似的。3. 机器人基础模型的训练与工作原理3.1 数据从哪里来机器人基础模型的训练数据跟大语言模型不一样。语言数据在互联网上几乎无限量但机器人操作数据非常稀缺因为它需要“真实物理交互”。目前行业主流的数据来源有几类遥操作数据由人远程操控机械臂执行任务记录关节角度、末端位置和视觉画面人工示范视频采集人手或遥控器操作视频作为弱监督信号仿真数据在仿真环境里自动生成海量任务数据和轨迹真实产线数据在生产线上的实际运行数据但通常难以大规模获取。Skild 这类基础模型会同时利用多种数据源。视频提示词之所以被强调一个重要原因是带动作标签的操作数据太贵了而视频数据相对容易获取。如果模型能从“无动作标签的视频”中学会任务语义再结合少量带标签数据进行策略学习那么数据成本会大幅下降。3.2 预训练与后训练机器人基础模型的训练通常分为两个阶段。预训练阶段的目标是学习通用表示。模型在大规模异构数据上学习物体长什么样、手怎么抓物体、运动过程中视觉如何变化。这个阶段不会绑定某个具体任务而是学习“世界模型”层面的通用知识。后训练阶段的目标是适配具体执行。模型在带动作标签的数据上做策略微调学习如何把视觉观测映射为关节控制信号。这个阶段可能需要根据不同本体的运动学结构做适配比如四足机器人和机械臂的关节空间完全不同。3.3 跨本体与跨场景泛化所谓“跨本体”指的是同一套模型能部署到不同机器人型号上。机械臂有六轴、七轴之分轮式机器人有差速、全向之分人形机器人关节配置更是不同。基础模型需要在相同任务、不同本体的数据上训练才能学到“任务意图”层面的表征而不是某个本体的专属动作模式。跨场景泛化则是指模型能适应不同的光照、背景、物体位置、相机视角。这是机器人落地的关键。很多专用模型在实验室效果很好一到真实场景就退化就是跨场景泛化不足。3.4 为什么视频可以作为通用接口视频之所以能成为通用接口是因为它不依赖本体结构。一段人抓取水杯的视频训练时模型可以把它映射到机械臂的动作部署时模型也可以把它映射到人形机器人的动作。视频处于“任务语义层”而动作处于“物理执行层”。基础模型做的就是在这两层之间建立桥梁。另外视频的时间维度天然匹配机器人动作序列。机器人执行任务是一个连续过程视频也具备时间连续性两者在结构上更容易对齐。相比之下单张图像是静态的文本是离散的它们在表达动态过程时都有天然缺陷。4. 从概念到工程最小实现设计与代码示例4.1 系统架构设计理解了概念我们用一个最小系统来演示“视频即提示词”的工程思路。假设我们有一个人工智能机械臂实验平台目标是让机械臂根据一段示范视频完成“把绿色方块放到左侧区域”这类任务。系统可以拆成几个模块视频提示词模块接收视频离线提取任务嵌入观测模块接收当前相机数据和关节状态策略模块根据任务嵌入和当前观测输出动作指令安全执行模块校验动作范围、速度和力度评估模块判断任务是否成功。下面给出的代码是演示性质的伪代码和具体硬件、SDK 无关需要根据你们实际使用的平台进行适配。4.2 视频提示词输入与任务描述对于机器人基础模型任务描述通常以结构化 JSON 形式传入。下面是一个任务请求示例{ task_type: manipulation, task_id: task_0001, video_prompt: { video_url: s3://bucket/demos/pick_green_block.mp4, start_time_s: 0.0, end_time_s: 8.0 }, text_instruction: pick up the green block and place it on the left area, observation: { cameras: [camera_front, camera_top], joint_states: true, end_effector_pose: true }, action_space: joint_position, max_steps: 250, safety: { max_force_n: 5.0, velocity_scale: 0.5, emergency_stop: true } }这个结构里video_prompt是任务的核心描述text_instruction起到辅助作用用来消除视频里的歧义。safety字段规定了执行时的安全边界这是机器人系统里不可省略的一部分。4.3 调用模型服务的核心代码以下代码演示调用机器人基础模型服务输入视频提示词和当前观测输出动作指令# 文件路径examples/run_skild_demo.py # 注意以下代码为演示思路需要根据实际 SDK 和接口调整 import os import time from robot_platform import RobotPlatform # 假设的机器人控制库 from skild_client import SkildClient # 假设的模型客户端 # 1. 初始化平台连接 robot RobotPlatform( ip192.168.1.100, control_modejoint_position ) model SkildClient( endpointgrpc://model-server:50051, api_keyos.environ.get(SKILD_API_KEY) ) # 2. 加载视频提示词生成任务嵌入 video_prompt model.encode_video( video_urls3://bucket/demos/pick_green_block.mp4, instructionplace the block on the left area ) # 3. 重置机器人到初始状态 robot.home() robot.reset() # 4. 执行任务控制循环 status None for step in range(250): # 获取当前观测 observation robot.get_observation( cameras[camera_front, camera_top], include_joint_statesTrue ) # 模型推理根据任务嵌入和当前观测输出动作 action model.predict( task_embeddingvideo_prompt, observationobservation, max_force_n5.0, velocity_scale0.5 ) # 安全检查如果模型输出异常立即中止 if action is None or not action.safe: print(fSafety violation at step {step}, aborting.) robot.abort() status aborted break # 下发动作并等待执行 robot.step(action) # 判断任务是否完成 if model.is_task_finished(observation): status success print(fTask finished at step {step}.) break if status is None: status timeout print(Final status:, status)这段代码展示了一个闭环控制逻辑观测 → 推理 → 动作 → 再观测。关键点是每一步都要做安全校验防止模型在异常状态下输出危险动作。4.4 模型服务的配置示例如果你需要自己部署一个机器人基础模型推理服务可以参考下面这个 YAML 配置。这里同样是一个演示示例具体参数得按硬件资源和模型版本调整# 文件路径config/model_server.yaml model: name: skild-s1-demo pretrained: true precision: bf16 inference: device: cuda tensor_parallel_size: 8 max_batch_size: 1 timeout_ms: 3000 video_prompt_cache: true observation: cameras: - camera_front - camera_wrist joint_state_dim: 7 end_effector_pose_dim: 7 safety: emergency_stop: true force_threshold_n: 5.0 velocity_threshold: 0.8 joint_limit_check: true logging: level: INFO log_interval_step: 10 save_execution_video: true这里的video_prompt_cache: true表示视频提示词会在第一次推理前预计算并缓存避免每步推理都重新处理整段视频这是控制推理时延的重要手段。4.5 构建自己的离线评估脚本在真实项目里我们不能只看几次演示效果而是要建一个评估集统计任务成功率。下面是一个离线评估脚本# 文件路径evaluation/evaluate_success_rate.py from skild_client import SkildClient from robot_simulator import SimRobot model SkildClient(endpointgrpc://model-server:50051) sim SimRobot() evaluation_cases [ {video: videos/pick_green_block.mp4, goal: green_block_in_left_area}, {video: videos/pick_blue_block.mp4, goal: blue_block_in_tray}, {video: videos/place_cup_vertical.mp4, goal: cup_standing}, ] success_count 0 results [] for case in evaluation_cases: sim.reset() task_embedding model.encode_video(case[video]) status run_episode(model, sim, task_embedding) success status success and sim.check_goal(case[goal]) success_count int(success) results.append({ task: case[video], status: status, success: success }) print(fSuccess Rate: {success_count / len(evaluation_cases):.2%}) for r in results: print(r)评估脚本的价值在于当你要调整视频提示词、更换模型版本、修改安全参数时可以量化地看到效果变化而不是靠肉眼判断“看起来还不错”。5. 实际部署中的常见问题与排查5.1 视频输入后任务理解偏差现象机器人看了示范视频但执行出来的动作和视频意图不一致。比如视频里是“把杯子放到托盘”机器人却把杯子放到了桌面边缘。可能原因视频目标物体与当前场景物体外观差异过大视频里的任务步骤太多模型没有捕获关键步骤文本辅助指令不明确没有消除歧义视频中出现了干扰物模型学到的是干扰物的动作。排查思路首先检查视频提示词对应的任务嵌入是否合理可以在模型输出的日志中查看模型对视频内容的理解摘要。其次简化视频内容一个视频只演示一个核心动作。最后在文本指令里补充关键状态约束例如“放到托盘中心不要放歪”。5.2 动作抖动或执行失败现象机械臂在执行过程中抖动明显或者中途停止、抓取失败。可能原因模型输出频率与机器人控制频率不匹配安全过滤参数设置过严动作被截断观测信息缺失比如某路相机被遮挡模型输出的是末端速度但控制器配置成了位置模式。排查思路记录每一帧模型输出的动作值和机器人实际执行的动作值看看差异是在哪一层产生的。如果是控制频率问题可以在模型输出后加平滑滤波。如果是观测缺失先确认相机画面是否正常、图像分辨率是否满足输入要求。5.3 算力与实时性瓶颈现象推理时延过长机器人动作卡顿无法连贯执行。可能原因模型参数量大当前 GPU 显存不够视频提示词在每步推理时都被重复编码CPU 负责数据处理瓶颈不在 GPU 而在预处理通信链路串行化每个环节都在等上一个环节。排查思路先用 profiling 工具看每个环节耗时找出瓶颈。视频嵌入一定要缓存不要每步都重新计算。可以考虑把模型服务和机器人控制服务分离部署用高带宽低延迟的通信协议。如果实时性要求极高可以考虑蒸馏小模型作为动作输出层大模型只负责离线生成任务嵌入。5.4 安全护栏缺失现象机器人出现快速移动、超过关节限位、输出异常大的力矩。可能原因安全过滤只在模型层做没有在控制器层做检查项不完整只检查速度没有检查力度硬件急停开关没有接入控制逻辑没有处理模型推理失败时的降级策略。排查思路安全需要分层设计。模型层的安全检查只是第一层控制器层的硬限位才是最后防线。要确保关节软限位、速度限制、力矩限制、急停按钮、通信超时自动停止这些全部生效。任何一步校验不通过都应该直接中止任务而不是尝试修正动作继续执行。5.5 常见问题排查清单问题现象常见原因解决思路任务理解错误视频干扰信息过多、文本指令有歧义简化视频增加约束检查任务嵌入手臂抖动控制频率不匹配、平滑不足加滤波统一控制频率抓取失败视觉观测缺失、相机标定不准检查相机状态重新标定推理卡顿视频重复编码、GPU 显存不足开启视频嵌入缓存升级算力动作越界安全参数不完整分层安全校验急停接入底层偶发失效场景光照变化、物体外观变化增加评估集记录失败样本6. 工程落地最佳实践与安全边界6.1 视频提示词工程化建立拍摄规范视频提示词不是随便录一段就能用的。真实项目中团队应该建立一套标准的视频拍摄规范单个任务一个视频长度控制在 5 到 15 秒演示过程要清晰、动作稳定避免快速甩动背景干净减少与任务无关的干扰物目标物体最好在画面中至少出现一次完整特写视频分辨率、帧率、相机角度要统一配一条简短文本指令补充“目标区域”“相对位置”等关键约束。视频提示词的质量直接决定了模型执行效果的上限。很多团队在模型选择上花了很多功夫却忽略了提示词本身的规范性这是很可惜的。6.2 数据管理与评估机制机器人基础模型的迭代本质上是数据和评估的迭代。建议团队从第一天就建立这几样东西任务注册表每个任务有唯一 ID对应视频提示词、文本指令、目标判定函数场景描述统一记录光照、相机位置、桌面颜色、物体型号自动化评估每次模型更新后跑一遍固定评估集输出成功率报告失败样本库把失败的执行视频、观测数据、动作日志一并保存。有了这些基础设施你才能回答“新模型到底比旧模型强在哪”“提示词改动是变好了还是变坏了”这两个核心问题。6.3 安全与合规最小权限与急停原则机器人系统一旦出错后果比软件系统更严重因为它涉及物理世界。部署机器人基础模型时安全是不可妥协的底线最小权限原则模型推理服务只开放必要接口不允许直接控制底层硬件分层急停模型层、控制层、硬件层三层都要有独立停止机制仿真先行任何新视频提示词、新场景、新模型版本都要先在仿真环境中验证人工监控前几次真实运行必须有操作员在场随时准备接管日志审计记录每次任务的全部输入输出便于事后复盘。在实际生产环境中还需要注意合规问题。采集视频数据时如果是包含人物、人脸、室内环境的视频需要考虑隐私和授权不能随意抓取网络视频作为任务数据。模型来自第三方时要确认使用许可证和部署范围。6.4 可维护性与可观测性机器人基础模型不是“训练完就能跑”的东西它需要持续维护。建议在系统设计时做好三件事第一模型版本管理。每次更新模型权重或提示词编码逻辑都要在任务请求中带上版本号否则出了问题很难回滚定位。第二执行日志结构化管理。把观测、动作、推理耗时、安全校验结果统一写成结构化日志方便搜索和绘图。第三指标可视化。用 Prometheus 和 Grafana 这类工具监控推理耗时、成功率、安全触发次数等指标。当系统表现突然下降时能第一时间发现并定位。6.5 团队选型建议如果你的团队正准备引入机器人基础模型可以参考下面几条建议先定义清楚自己的核心任务到底是什么是抓取、分拣、装配还是移动操作优先选择有跨本体能力、支持自定义视频提示词的模型平台而不是只能跑固定任务的专用模型不要一开始就追求端到端全自动先做人机协同模型执行 人工安全监控预留充足的算力预算推理服务建议独立部署和业务系统隔离团队里至少要有一个人能写提示词工程、理解多模态模型输入输出而不是只会调接口。7. 学习路线与下一步7.1 从哪些方向补充知识如果你刚接触机器人基础模型可以从这几个方向逐步深入大语言模型的提示词工程原理这是理解“视频即提示词”的基础视觉语言模型VLM了解视觉特征与文本特征如何对齐强化学习和行为克隆理解机器人动作策略的训练方式机器人运动学和 ROS 2掌握底层控制与通信机制具身智能相关的数据集评测体系比如成功率的定义、长程任务的细粒度评估。不需要一步到位建议按“提示词理解 → 模型调用 → 安全控制 → 数据采集 → 策略微调”的顺序推进。7.2 自己动手最值得做的三件事第一找一台带机械臂的仿真环境比如基于物理引擎的机器人仿真器跑通“视频提示词 → 动作执行”的闭环。第二用一段固定的示范视频改变环境中的光照、物体位置、桌面颜色观察模型的成功率变化建立泛化能力的直观感受。第三尝试自己录几个不同风格的示范视频一个完整流畅的、一个动作混乱的、一个带干扰物的对比模型执行效果理解提示词质量对模型的影响。这三件事做完你基本就能理解机器人基础模型能不能在具体业务里落地以及卡点在哪里。7.3 还需要跟踪哪些技术动态机器人基础模型是目前发展很快的领域建议持续关注这几个方向多模态模型如何融合力觉和触觉信息让机器人操作更精细视频生成模型与机器人策略模型的结合能不能直接用生成视频规划策略长程任务的任务拆解机制视频提示词如何拆成多个子任务逐步执行跨本体迁移的效率新机器人接入基础模型需要多少数据和多少微调模型安全性的标准化验证方法怎么量化评估一个机器人基础模型在真实物理环境中的风险。如果你正在做一个具身智能相关的项目不妨从一个小场景开始选择一个固定任务准备 3 到 5 段高质量示范视频在仿真环境里先把成功率跑上去再逐步扩大场景范围。比起一开始就追求“什么都能做”把一个闭环做扎实会更有工程价值。