ILImitation LearningCPCapture Motion模仿学习动作采集与捕捉方法分类 原理 优缺点模仿学习IL, Imitation Learning核心目标从人类演示demonstration中获取状态 - 动作对 ((s,a))训练策略 (\pi(a|s))。动作捕捉按采集对象分为两大类人类动作捕捉人演示、机器人遥操作采集人控制机器人演示按信号类型关节空间动作 / 笛卡尔空间末端动作 / 原始传感器动作。一、人类动捕Human Demonstration人直接做动作再映射到机器人1. 光学动作捕捉Optical MoCap原理环境布置红外相机人身上粘贴反光标记点Marker多相机三角测量实时解算人体骨骼关键点三维坐标后通过运动学映射把人体姿态转换为机器人关节 / 末端动作序列。典型设备Vicon、OptiTrack、MotionAnalysis。优点空间定位精度极高亚毫米级时间同步稳定轨迹平滑可获取全身骨骼 6D 位姿位置 旋转离线采集质量高适合做高质量演示数据集缺点部署成本高需要专用标定场地环境受限不能强光、遮挡只能在固定实验室空间无法现场采集标记点易脱落、遮挡失效运动映射问题人体与机器人运动学结构不一样人体动作≠机器人可行动作需要逆运动学 运动重定向容易出现自碰撞、关节超限无法直接采集力觉交互信息只有几何姿态。2. 惯性动作捕捉IMU MoCap可穿戴惯性动捕原理穿戴式 IMU 传感器陀螺仪 加速度计 磁力计绑在肢体上通过姿态解算得到每个肢体的旋转融合得到人体骨骼姿态不依赖外部相机。典型设备Xsens、诺亦腾。优点无线可移动不受场地限制户外 / 现场都能采集布置简单不需要搭建相机阵列无遮挡问题不像光学动捕被物体挡住 Marker缺点存在漂移长时间采集累积姿态误差绝对位置精度差只能较好得到姿态三维位置估算弱穿戴繁琐传感器需要逐个标定同样存在人体→机器人运动重定向难题噪声比光学动捕大需要滤波。3. 视觉无标记动作捕捉Markerless Vision-based MoCap原理单目 / 多目 RGB/RGBD 相机用视觉模型MediaPipe、OpenPose、DROID、Human3D直接从图像预测人体 2D/3D 关键点不需要贴 Marker。优点零穿戴采集最简单普通人直接演示硬件成本低普通 RGB/D 深度相机即可部署快适合快速批量采集演示缺点遮挡敏感物体挡住肢体时预测崩坏3D 关键点精度低深度噪声大容易出现姿态歧义单目深度模糊输出人体骨骼依然需要运动重定向到机器人映射误差大动态快速动作下预测延迟、抖动。小结人类动捕大类共性短板采集的是人的动作不是机器人在真实环境交互的动作。人和机器人动力学、工作空间不一样演示存在域偏移直接拿来训练机器人策略效果差。适合动作轨迹形态学习不适合需要物理交互抓取、接触力任务。二、遥操作示教Teleoperation人控制机器人本体做演示直接采集机器人动作这是机器人模仿学习最主流方案人通过主端控制器控制从端机器人运动直接记录机器人自身传感器关节角度、末端位姿、力 / 力矩得到机器人真实环境下 ((s,a)) 演示轨迹。不存在人体→机器人重定向。4. 主从力反馈遥操作Haptic Master-Slave / 力控主手原理主操作手力反馈设备人手握持主手主手采集人手笛卡尔指令主手可以反馈从端机器人受到的接触力从端机器人跟随主手运动记录机器人关节 / 末端动作、力信号。设备Geomagic、Omega、Falcon工业主从机械手。优点直接采集机器人动作无需运动重定向演示就是机器人自身可行轨迹带力反馈人能感知机器人和环境碰撞、接触适合装配、柔性物体交互可以记录完整交互力数据对接触类模仿学习至关重要示教轨迹自然适合精细操作插销、拧螺丝缺点力反馈主手昂贵主从工作空间缩放问题主手空间小机器人工作空间大需要空间映射存在时延高速动态操作时不稳定操作门槛高操作员需要训练不适合大范围移动机器人底盘巡检这类更适合机械臂操作任务。5. 零力拖动示教Lead-through / Hand Guiding直接拖拽机器人本体原理机器人开启重力补偿、零力模式人手直接握住机器人末端手动拖拽机械臂运动机器人内部关节编码器直接记录关节轨迹作为演示动作。工业机器人非常常用。优点上手最简单不需要额外外设人手直接拖动机器人直观采集的是机器人原生关节数据无映射误差可感知接触约束适合静态操作任务缺点只能低速采集高速拖拽不安全大负载机器人拖拽费力轻量机器人容易抖动人手施加外力会混入动作噪声很难精细控制交互力人很难稳定维持恒定接触力不适合移动机器人底盘示教。6. 外设遥操作游戏手柄 / 空间鼠标 / 6D 鼠标原理人使用普通 6DOF 空间鼠标、游戏手柄、VR 控制器输出笛卡尔速度 / 位置指令控制机器人记录机器人状态动作。VR 手柄Quest/Pico属于这类。优点硬件便宜部署极快VR 手柄还可以沉浸式可视化机器人场景适合移动机器人、机械臂粗粒度示教缺点无力反馈操作员无法感知机器人与环境碰撞容易撞机输入是离散指令轨迹抖动6D 自由度控制难度大操作员很难做出平滑精细操作轨迹演示质量高度依赖操作员熟练度演示样本方差大。7. 键盘 / 触控界面示教点位示教原理键盘 / 平板点选逐点设定机器人目标点位机器人插值生成轨迹记录点位序列作为演示。传统工业机器人示教器。优点稳定、安全点位精准。缺点只能离散点位很难得到连续平滑动作不适合动态连续操作模仿学习适合点位任务不适合 IL 连续策略训练。三、仿真环境内演示采集Virtual Demonstration8. 仿真内人机交互示教Gazebo/MuJoCo/Isaac Sim 虚拟体原理在仿真引擎中人通过鼠标、VR 手柄控制虚拟机器人直接采集仿真内机器人关节、状态、动作、接触力数据生成演示数据集。优点零硬件损耗、无碰撞风险可以大规模并行采集演示样本可以直接读取仿真底层物理量接触力、物体速度低成本大批量生成演示适合预训练缺点Sim2Real gap仿真演示动力学、接触模型和真实世界不一致在仿真上学好的策略真机表现退化人在仿真中操作感知缺失和真实环境交互体验不一样演示行为本身就和真机演示有差异。四、被动观测演示没有动作指令采集只有视觉观测需要反推动作9. 视觉观测逆动作估计Only video无动作真值原理只有演示视频没有采集动作信号通过视觉模型逆推状态与动作属于无演示动作标签的模仿学习如逆动力学、视觉行为克隆。优点只需要视频数据获取门槛最低可以用互联网视频缺点动作是估计值不是真值存在巨大估计误差存在动作歧义同一视频画面可能对应多种可行机器人动作很难获取力交互信息适用场景视频预训练不适合高精度机器人操作任务。汇总对比表格采集方式动作来源核心优势核心短板适用 IL 任务光学动捕人体动作再映射人体姿态精度高部署贵、遮挡、运动重定向人体运动、非接触动作IMU 可穿戴动捕人体动作再映射场地自由姿态漂移、位置差移动人体动作采集无标记视觉动捕人体动作再映射低成本免穿戴遮挡敏感、精度低快速粗样本采集力反馈主从遥操作机器人原生动作带力反馈交互任务质量高设备昂贵、操作门槛高机械臂接触操作、装配零力拖动示教机器人原生动作最简单无额外硬件低速、力控制差机械臂静态抓取搬运VR / 游戏手柄遥操作机器人原生动作低成本、沉浸式无力反馈轨迹抖动移动机器人、粗操作仿真内示教虚拟机器人动作安全、大批量Sim2Real 域差预训练、算法验证纯视频逆推动作视觉反推动作数据易得动作不是真值、歧义大基础视觉行为克隆工程选择建议机械臂接触交互任务抓取、装配优先【力反馈主从遥操作】或【零力拖动示教】直接采集机器人动作避免人体动作映射带来的重定向误差。移动机器人巡检底盘VR 手柄 / 空间鼠标遥操作或者仿真批量采集移动机器人很少用人体动捕。快速构建数据集、算法验证仿真内示教真机最终调优还是要真机演示。尽量避免人体动捕直接作为机器人 IL 演示源人体和机器人运动学差异带来的重定向误差是行为克隆失败常见坑。