ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

零基础搭好 SO-101 双臂协作:LeRobot 一步步跑通舵机同步到数据采集

零基础搭好 SO-101 双臂协作:LeRobot 一步步跑通舵机同步到数据采集 零基础搭好 SO-101 双臂协作LeRobot 一步步跑通舵机同步到数据采集【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot副标题从两只机械臂到一份可训练的数据集这篇文章带你完整搭出一个能跑的双臂系统开头概要最终成品是一个能跑起来的双臂系统一只领袖臂、一只跟随臂都是 SO-101由 LeRobot 控制——你手动操纵领袖臂跟随臂实时同步动作过程中还能完整录下一份双臂轨迹数据集。LeRobot 是基于 PyTorch 的开源机器人学习框架核心功能是端到端从舵机驱动、遥操作、数据集采集到策略训练与部署全部由它接管不需要你自己去搭通讯协议或选机器人操作系统。一分钟看懂LeRobot 给双臂系统带来什么问题回答它是什么基于 PyTorch 的开源机器人框架内置 SO-101 单臂so101_follower与双臂bi_so_follower的完整驱动实现适合谁没有 ROS 背景、想用低成本机械臂练手双臂协作和数据采集的开发者能拿到什么可遥操作的双臂联动 结构化数据集关节角、相机画面、任务描述 可训练、可部署的策略上手前需要什么两只 SO-101一领袖一跟随、一台电脑、Python 3.12 环境准备清单硬件、软件与环境逐项核对硬件跟随臂 SO-101 ×16 个 Feetech STS3215 舵机1/345 减速比⚠️ 必需领袖臂 SO-101 ×16 个不同减速比的 STS3215 舵机1/191、1/345、1/147 混配见 docs/source/so101.mdx⚠️ 必需两块舵机控制板MotorBus 或 Waveshare 板 12V 电源⚠️ 必需相机USB 摄像头即可如 RealSense 可加深度流可选——没有也能先跑通遥操作软件LeRobot 框架本体含 Feetech 舵机 SDK安装时带.[feetech]附加依赖⚠️ 必需3D 打印的臂体结构件官方文档给出了物料清单入口⚠️ 必需环境Python 3.12 虚拟环境⚠️ 必需步骤见 docs/source/installation.mdxLinux 下需给串口开放访问权限文档中有对应命令⚠️ 必需训练策略用的 GPU可选——采集和遥操作阶段纯 CPU 即可分步实操三张任务卡跑通双臂任务卡一让单只 SO-101 先动起来目标跟随臂能被电脑识别6 个关节全部可动、位置读数准确。克隆仓库并装好环境git clone https://gitcode.com/GitHub_Trending/le/lerobot把控制板接上 USB 和电源运行端口检测脚本按提示拔掉再插上 USB得到跟随臂的串口号lerobot-find-port给 6 个舵机逐个设置唯一 ID 和波特率——新舵机出厂 ID 都是 1不改无法区分脚本会引导你一次只接一个舵机、逐个写入lerobot-setup-motors --robot.typeso101_follower --robot.port上一步得到的端口把舵机首尾串联成总线固定到臂体上。运行lerobot-calibrate先把臂摆到各关节行程中点再逐个关节手动打到行程两端写入校准文件。⚠️ 校准时臂会做全行程运动先清空工作范围内的障碍物。完成标准✅每个关节能完整走完正负满行程且不卡顿校准文件生成后同样的物理姿势下读数稳定一致同一姿势重复读数差异应远小于 1°。任务卡二跑通领袖-跟随双臂同步目标动领袖臂跟随臂实时跟着动。对领袖臂重复任务卡一的 2、3、5 步lerobot-setup-motors换成--teleop.typeso101_leaderlerobot-calibrate同理。两只臂的id各自取固定名字后续所有命令都用同样的id——LeRobot 靠它找到对应的校准文件改了就失效。启动遥操作核心命令如下robot段配跟随臂teleop段配领袖臂端口、id 换成自己的lerobot-teleoperate \ --robot.typeso101_follower --robot.port跟随臂端口 --robot.idfollower_arm \ --teleop.typeso101_leader --teleop.port领袖臂端口 --teleop.idleader_arm如果目标从一开始就是两只跟随臂同时动把--robot.type换成bi_so_follower左臂、右臂各配一组端口--teleop.type换成bi_so_leader命令形态不变实现见 src/lerobot/robots/bi_so_follower/。快速挥动、缓慢平移各做几组观察跟随情况。完成标准✅领袖臂停稳后 1 秒内跟随臂完全静止跟随臂起动的滞后感官上不可察觉静止时两臂对应关节的读数差稳定在 ±2° 以内。任务卡三录出一份可训练的双臂数据集目标边遥操作边录制得到 N 条带画面、有关节轨迹、有任务描述的完整 episode。在任务卡二的命令基础上改用lerobot-record给--robot.cameras加上相机配置OpenCV 相机640×480、30fps 是文档示例的默认参数。用--dataset.repo_id指定数据集归属、--dataset.single_task写一句任务描述如 put the red brick in a bowl、--dataset.num_episodes定条数。录制中用键盘接管流程右键保存当前 episode 进入下一条左键删除重试Esc 结束并编码上传。完成标准✅每条 episode 都完整落盘关节角与视频时间轴对齐任务描述不为空。所有命令参数以 docs/source/cheat-sheet.mdx 为准。问题速查双臂系统常见异常对照表现象常见原因一行解决动作检测不到串口USB 未插好或 Linux 无设备权限按 docs/source/so101.mdx 给/dev/ttyACM*放行权限后重跑lerobot-find-port设置 ID 时报错3-pin 线或电源线松了检查电源、USB、舵机线三处确认只接了一个舵机再按回车两臂位置对不上漏校准或校准后id变了重跑lerobot-calibrate之后所有命令用同一个id跟随臂动作发涩电源带载不足或 USB 接触不良换足功率的 12V 电源重插 USB 线相机无画面相机编号index_or_path填错跑lerobot-find-cameras确认编号再改配置舵机读数跳变舵机未连成总线、首尾断线重新串联 6 个舵机首端接控制板继续探索把双臂系统带向智能操作训练策略让双臂自主干活录完数据用lerobot-train训练 ACT 等策略再用lerobot-rollout部署回机械臂完整流程见 docs/source/il_robots.mdx策略实现都在 src/lerobot/policies/。加深度感知接 Intel RealSense 并开启use_depth让数据集带上深度流抓取类任务效果更稳相机代码在 src/lerobot/cameras/realsense/。推理与执行解耦异步推理模块把策略推理和机械臂执行放到不同进程控制更平稳代码在 src/lerobot/async_inference/。结尾双臂系统的难点从来不在某一行代码而在驱动、校准、采集这条链路能一次性走通——LeRobot 把这条链路打包好了你要做的只是按任务卡核对。现在就可以做的一步接上跟随臂跑起lerobot-find-port拿到你的第一个串口号。【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表