
只靠一部手机就能指挥机械臂吗手把手带你跑通 LeRobot 手机AR控制【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot想象一个场景机械臂在另一间屋子你不想坐在操作台前也不想写脚本——拿起手机它就跟着手机的动作实时移动。这正是 LeRobot 手机AR控制功能做的事。LeRobot 是一个端到端的机器人学习框架它内置的手机遥操作能力会用手机的摄像头和运动传感器捕捉手机姿态再映射到机械臂的末端执行器也就是夹爪那一端让手机操控机械臂不再需要额外的主臂。这项能力适合谁它不是为炫技设计的三类人收益最大没有主从操作台的你传统数采要手动操作一根主臂去带从臂手机可以直接充当虚拟主臂。想快速演示的人教学或展示时一台电脑加一部手机就能完成现场操控。想先上手再买硬件的人跟着教程把配对、标定、控制走一遍起步成本很低。 动手前准备清单先对照这张表本教程里大多数跑不起来都源于这里缺了一项项目要求说明机器人SO-100 从臂串口已接好、电机已校准手机iOS 需装 HEBI Mobile I/O 应用Android 用浏览器打开 WebXR 页面即可电脑能运行 Python 和 pip网络手机与电脑连同一个 Wi-Fi 或局域网额外文件把 SO101 的 URDF机器人运动学模型文件拷进示例目录逆运动学计算要用 最短路径三步跑通遥操作第一步拿代码并装手机相关依赖。git clone https://gitcode.com/GitHub_Trending/le/lerobot cd lerobot pip install lerobot[phone]第二步改入口脚本。打开 examples/phone_to_so100/teleoperate.py改两处SO100FollowerConfig里的 port 换成你机械臂的串口号PhoneConfig里的phone_os改成PhoneOS.IOS或PhoneOS.ANDROID。第三步启动并配对。python examples/phone_to_so100/teleoperate.py启动后Android 在手机上打开终端打印的本地网址iOS 直接打开 HEBI 应用然后按住 B1iOS或 Move 键Android即可开始遥控松开停止。这一步最容易卡住先确认手机和电脑在同一个网段再往下查别的问题。握持姿势有讲究屏幕朝上、手机上缘与夹爪指向同一方向动作最跟手首次按住会做一次参考姿态标定之后每次松开再启动都不会漂移。跑通之后可以怎么玩遥操作通了之后examples/phone_to_so100/ 目录里还有一组脚本可以直接用record.py把手机操作录成训练数据集这是最实用的一条——SO100 手机AR采集的数据能直接喂给策略训练。replay.py回放录好的片段检查动作是否平滑。evaluate.py挂上预训练策略验证训练效果。想调速度和安全性改示例脚本里的工作空间边界EEBoundsAndSafety和每帧步长即可即时生效。 常见问题排查手机没被发现 / 配对失败iOS 先确认 HEBI 应用是打开状态且网络一致Android 网址打不开时检查是否把 https 打成了 http务必用终端打印的那个准确 IP浏览器提示证书问题时选择继续访问。动作方向反了多半是坐标符号问题调一下示例脚本MapPhoneActionToRobotAction步骤里的轴向符号即可。延迟明显优先 5GHz Wi-Fi缩短手机与电脑距离避免让手机走流量热点多一跳 NAT 会放大延迟。 延伸学习资源官方手机遥操作教程docs/source/phone_teleop.mdx详细讲了配对、标定原理和流水线每一步。手机遥操作的核心实现src/lerobot/teleoperators/phone/想弄清手机姿态如何映射成机械臂动作从这里入手。手机采集的数据最终会进入策略模型训练想了解机器人手机遥操作教程之外的完整链路可以参考下方 VLA 架构图手机采集、遥操作数据、策略训练、上臂验证这条链路在 LeRobot 里都给了可运行的示例。先跑通示例目录里的 teleoperate.py让机械臂跟着手机动起来再用 record.py 攒下第一批自己的数据——这就是最短的起步路线。【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考