ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

LeRobot 多臂机器人协同:如何用 4 条 SO-100 快速搭出双臂协同控制系统

LeRobot 多臂机器人协同:如何用 4 条 SO-100 快速搭出双臂协同控制系统 LeRobot 多臂机器人协同如何用 4 条 SO-100 快速搭出双臂协同控制系统【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot两条机械臂总撞在一起左臂刚放下方块右臂还停在原地录 10 分钟数据帧都对不上。用 LeRobot 做多臂机器人协同双臂动作、相机流和数据记录一次命令就能对齐。这篇教程带你从零跑通顺手避开 4 个必踩的坑。一句话讲清 LeRobot 是什么LeRobot 像一位乐队指挥它不生产机械臂而是给 SO-100、LeKiwi、Unitree G1 等一堆硬件写同一套乐谱。你只管告诉它左臂干这个、右臂干那个连接、标定、录数据、训策略、回放评估全都走同一套命令。双臂协同对你来说就是多接了两台设备剩下的事它统一处理。 先看到效果3 步跑通双臂遥操作装库pip install lerobot想改源码就git clone https://gitcode.com/GitHub_Trending/le/lerobot。硬件摆位2 条跟随臂 SO-100/SO-101被控2 条主臂你用手操作每臂各挂 1 个腕部相机USB 线连上电脑。跑这条命令把 port 换成你实际的串口lerobot-record \ --robot.typebi_so_follower \ --robot.left_arm_config.port/dev/ttyUSB0 \ --robot.right_arm_config.port/dev/ttyUSB1 \ --teleop.typebi_so_leader你会看到动一下左边主臂两条跟随臂的左臂同步跟上动右边主臂右臂跟上。屏幕上两个相机画面和 12 维动作一起实时流动。完成一个左臂抓起方块递给右臂的小任务episode 就自动存进数据集任务描述可以直接写Grab and handover the cube to the other arm。️ 模块地图两条臂是怎么被串起来的协同的核心链路代码里每一环都有明确位置模块干什么src/lerobot/robots/bi_so_follower/BiSOFollower把两条 SO-100 包成一个Robot所有关节键自动加left_/right_前缀src/lerobot/utils/bimanual.pyBimanualMixin连接、标定、断开统一委托给左右两条臂依次执行src/lerobot/teleoperators/bi_so_leader/双臂遥操作主臂动作原样映射到跟随臂src/lerobot/scripts/lerobot_record.pylerobot-record命令docstring 里就有现成的双臂录制示例src/lerobot/datasets/LeRobotDataset视频存 MP4、状态/动作存 Parquet天然左右臂时间对齐src/lerobot/policies/ACT、Diffusion、pi0、SmolVLA 等策略直接吃双臂 12 维动作docs/source/so100.mdxSO-100 硬件接线与标定文档排查问题先看它链路一句话主臂动作 → 遥操作模块 →BiSOFollower分发到左右臂 → 数据落盘成 LeRobotDataset → 策略训练读同一份数据所以采集和训练永远不会对不上。⚖️ 协作机械臂选型上手前先看清这张表LeRobot 内置三套双臂方案都是同一套接口差别在硬件方案单臂负载大致成本协同支持适合谁2× SO-100/SO-101bi_so_follower~0.1 kg千元内内置代码最成熟桌面级抓取、交接任务验证协同链路2× OpenARMbi_openarm_follower~2 kg数千元内置需要搬动实物的双臂任务2× reBot B601bi_rebot_b601_follower~0.5 kg数千元内置可加移动底盘双臂 移动场景推荐从 2× SO-100 起步多臂协同怎么落地第一步是花最少的钱把采集→训练→回放整条链路跑通硬件升级时代码一行不用改。️ 踩坑实录双机械臂协同这 4 个问题一定会遇到坑 1命令直接报错Top-level camera names collide with per-arm camera names现象lerobot-record刚启动就抛出相机名冲突异常。原因BiSOFollower会在初始化时检查顶层cameras和左右臂各自的cameras有没有重名见 bi_so_follower.py你给公共俯视相机起的名字和某条臂的腕部相机撞车了。怎么解相机名字全局唯一。公共相机放在顶层cameras臂上只放臂自己的或者干脆每个相机挂在对应臂的配置里别用顶层。坑 2一条臂不动或两条臂动作混着走现象动了主臂只有一条跟随臂响应或者两条臂都朝同一个目标动。原因左右臂的串口写成了同一个两条臂的舵机在同一总线上抢话。怎么解先跑lerobot-find-port找出各自串口确认left_arm_config.port和right_arm_config.port是两个不同设备两条臂的电机 ID 必须错开别用同一套。坑 3连接后动作发飘、其中一条臂明显滞后现象标定过单臂没问题合成双臂后一臂顺滑一臂抽搐。原因BimanualMixin要求is_calibrated时左右臂的标定都通过换过电机、挪过位置后旧标定文件就失效了。怎么解对bi_so_follower整体跑一次lerobot-calibrate两条臂的标定文件会一起写进同一个calibration_dir以后重装完硬件重跑一遍即可。坑 4训策略时报特征对不上或左右臂动作反了现象用单臂配置训 ACT加载双臂数据集时动作维度不匹配或者调通了但左臂的动作发给了右臂。原因双臂机器人的动作键全部带前缀每条臂 6 个关节共 12 维left_arm_0…right_arm_5、right_arm_0…单臂配置只声明了 6 维。怎么解配置策略时按BiSOFollowerConfig的action_features声明 12 维特征命名严格带left_/right_前缀和录制时保持一致。 下一步把录好的双臂数据集交给 ACT 或 SmolVLA 训出第一版交接策略用lerobot-eval在 LIBERO 仿真里先验证成功率。再去看 src/lerobot/async_inference/ 的策略服务器把推理从采集链路上拆出来实测双臂控制延迟能再降一截。最后把双臂扩展到更多臂或加上底盘接口不变只加配置。别光看——接上两条 SO-100把lerobot-record跑起来撞上一次你就懂协同了。【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表