ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

LeRobot开源机器人框架:让SO-100机械臂自己学会干活

LeRobot开源机器人框架:让SO-100机械臂自己学会干活 LeRobot开源机器人框架让SO-100机械臂自己学会干活【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobotSO-100 是 LeRobot 官方支持硬件里最便宜的入门点一只桌面级六关节机械臂。LeRobot 是 Hugging Face 推出的开源机器人框架把机器人数据采集、策略训练、真机部署整条链路装进同一个 Python 仓库。这篇文章用 SO-100 走一遍完整闭环你手搓几条演示它让机械臂自己学会抓取。先看一条流水线数据是怎么变成动作的先说结论LeRobot 的典型用户是学生、研究者、创客和机器人工程师它想解决的是数据到动作之间太多手工活的问题。整条流水线是这么走的。你用一台领导臂手动演示任务lerobot-record把过程存成LeRobotDataset然后用lerobot-train在数据集上训练策略最后lerobot-rollout把策略发回真机执行。数据集的存储结构可以类比成表格 录像Parquet 文件里每一行是一个时间步的关节角、动作指令和时间戳MP4 文件则是相机视角的录像两者在时间上严格对齐。这样既省空间又能从 Hugging Face Hub 上几千个公开数据集里直接加载别人的成果来训练。策略端是这个框架最厚的一块。仓库用纯 PyTorch 实现了模仿学习ACT、Diffusion、强化学习TDMPC、HIL-SERL以及一大批 VLA视觉-语言-动作模型Pi0、Pi0.5、GR00T、SmolVLA、EO-1 等还包括 VLA-JEPA 这类世界模型。多模态输入怎么变成动作指令架构图一眼能看懂硬件侧同样如此。不管你用的是 SO-100、LeKiwi 还是 Unitree G1控制代码都是robot.connect()、get_observation()、send_action()三件套各家的驱动差异被封装在 src/lerobot/robots/ 下面。换句话说换机器人不用换代码。SO-100 场景走查从连接硬件到跑通真机下面这段经历来自官方文档 docs/ 里的 SO-100 教程我把它串成一次真实的上手过程。连接硬件。先装 Feetech 舵机支持包再让框架替你找串口pip install -e .[feetech] lerobot-find-portlerobot-find-port会打印所有可用串口并提示你拔掉某个 USB 再按回车来确认哪根线连着哪只臂。确认端口后第一次使用还需要lerobot-setup-motors给每个舵机写 ID 和波特率以及lerobot-calibrate做标定——这一步很关键它保证领导臂和跟随臂摆到同一物理姿态时读出同一组数值。没标定的臂后面训练出的策略就是对着空气比划。采集数据。标定完成两只臂摆好一条命令开始遥操作你用手拨领导臂跟随臂同步模仿同时录下全部关节值和相机画面lerobot-record \ --robot.typeso100_follower \ --robot.port/dev/tty.usbmodem575E0032081 \ --teleop.typeso100_leader \ --teleop.port/dev/tty.usbmodem575E0031751 \ --display_datatrue \ --dataset.num_episodes5 \ --dataset.single_taskGrab the black cube录 5 条演示大概一二十分钟。数据存成本地 LeRobotDataset 后随时可以推到 Hub 供训练和分享。训练策略。ACT 这类模仿学习策略会自动适配数据集里的关节数和相机数你不用改任何网络配置lerobot-train \ --dataset.repo_idyouruser/so100_test \ --policy.typeact lerobot-rollout \ --strategy.typebase \ --policy.pathyouruser/my_policy \ --robot.typeso100_follower \ --robot.port/dev/ttyACM1 \ --taskPut lego brick into the transparent box \ --duration60真机部署。训练几小时后lerobot-rollout加载 checkpoint 接到跟随臂上。此时你可以把手从领导臂上移开机械臂会按自己学到的策略把积木放进盒子。如果只是想快速验证而不动真机lerobot-eval还支持在 LIBERO、MetaWorld 等仿真基准里跑同一个策略命令风格完全一致。一张表看全硬件、数据集与算法族维度支持范围备注原生硬件SO-100/101、LeKiwi、HopeJR、Reachy2、Unitree G1、OpenARM、reBot B601、游戏手柄/键盘/手机统一 Robot 接口驱动源码见 src/lerobot/robots/第三方插件xArm、UR5e、Franka、Piper、WidowX、Meta Quest、ROS 2 桥接按lerobot_robot_*命名安装后自动发现数据集Hub 上 Parquet MP4 格式的 LeRobotDataset删集、切分、合并都有对应 CLI模仿学习ACT、Diffusion、VQ-BeT、Multitask DiT入门首选 ACT强化学习TDMPC、HIL-SERL适合探索式与人在回路的任务VLA 模型Pi0/Pi0.5、GR00T、SmolVLA、EO-1、MolmoAct2、EVO1 等全部纯 PyTorch 实现世界模型/奖励模型VLA-JEPA、FastWAMSARM、TOPReward、Robometer服务于离线评估与 HIL 训练所有策略的配置和实现都集中在 src/lerobot/policies/ 下每个策略一个目录README 里附了各自的训练时间和显存要求选型前可以先翻一眼。三个最常见的坑怎么排查现象一串口找不到臂连不上。排查清单Linux 下先确认/dev/ttyACM*有读写权限检查供电和两条线电脑到控制板的 USB 线、控制板到舵机的 3 _pin 线是否插紧如果你用的是 Waveshare 控制板确认跳线设在 B 通道USB。文档里这条故障线是连接失败里命中率最高的。现象二训练跑完策略在真机上乱抖。先别怀疑网络怀疑标定。跑一次lerobot-dataset-viz回看采集帧确认领导臂和跟随臂在相同姿态下数值一致不一致就重跑lerobot-calibrate。数据对了ACT 这类策略会自动对齐输入维度通常就能收敛。现象三VLA 模型动作一顿一顿的。原因是单步推理太慢机械臂在等答案。两条路lerobot-rollout加--inference.typertc用远程传输控制平滑执行或者上异步推理policy_server单独算下一段动作机械臂执行当前段时下一段已经在排队规划与执行彻底解耦。起步建议先跑一个现成的推理不用先买硬件。挑一个 Hub 上已有数据集跑通lerobot-eval或者用lerobot-dataset-viz把别人录的演示帧看一遍搞清楚观测和动作长什么样再决定买哪台臂。真机是后话先让流水线在你机器上转起来。【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表