1. 项目缘起与整体架构拆解1.1 为什么我会盯上这只“鸭子”第一次看到“微小型双足鸭形机器人”这个方向时我脑子里冒出来的第一个念头其实很朴素双足机器人我见得多但把形态做成鸭子、还把整机压到微小型尺寸、同时用强化学习来驱动步态这个组合确实少见。它不是一个纯玩具也不是那种动辄几十公斤、靠液压或者大型伺服撑起来的科研平台而是一个把机械结构、嵌入式控制、强化学习训练、开源软件栈全部揉在一起的小型系统。我之所以愿意花时间深挖它是因为它踩中了几个很实际的需求点。第一双足机器人的门槛一直很高传统做法要么依赖精确的动力学建模和零力矩点规划要么需要昂贵的力矩电机和实时控制器普通人根本玩不起。第二强化学习这几年在足式机器人上确实跑通了但大多数公开案例要么跑在仿真里要么依赖高端算力平台真正落到一块几百块钱的开发板上、还能保持稳定步态的案例并不多。第三开源架构意味着你可以看到从硬件到软件的全貌而不是买一个黑盒回来只能按遥控器。这只鸭形机器人解决的正是“低成本硬件 强化学习步态 完整开源”这三者之间的断层。它适合谁呢如果你是对足式机器人好奇的学生、想入门强化学习但不想一上来就啃大型平台的开发者、或者手里正好有 RK3566 这类板子想找点有意思的项目做那这个方向值得你认真看下去。它不要求你一开始就懂李雅普诺夫稳定性也不要求你有六轴力矩传感器但它确实要求你愿意动手、愿意调参、愿意接受“仿真里跑得好好的上真机就摔”这种常态。1.2 整机方案的核心取舍逻辑做微小型双足机器人第一个绕不开的问题就是自由度怎么分配。鸭形这个形态其实很讨巧它不像人形那样需要复杂的上肢平衡也不像纯双足倒立摆那样对踝关节力矩要求极高。常见的做法是每条腿给 3 个自由度髋关节的偏航、俯仰加上膝关节的俯仰总共 6 个主动自由度。这个配置的好处是既能实现抬腿、迈步、转向又不至于让控制维度爆炸。如果只给 2 个自由度转向会非常别扭给到 4 个以上微小型舵机的扭矩和响应又跟不上反而增加控制难度。第二个取舍是驱动方式。微小型机器人上常见选择是舵机、空心杯电机加减速箱、或者微型无刷电机。舵机便宜、集成度高、控制简单但缺点是 backlash 大、力矩曲线非线性、寿命有限。空心杯电机加行星减速箱性能好但成本和装配难度上去了。我看到的这类项目里多数还是走舵机路线因为它的定位就是“可复现、低成本”。这里要提醒一句舵机的选型不能只看标称扭矩一定要看堵转扭矩和实际工作电压下的表现很多标称 20kg·cm 的舵机在 6V 下实际能稳定输出的可能只有一半。第三个取舍是主控平台。RK3566 这个芯片出现在这里其实很有意思。它是一颗四核 Cortex-A55 的应用处理器主频能到 1.8GHz 左右带 NPU跑 Linux 系统接口也丰富。用它做机器人主控好处是算力足够跑一些轻量级的神经网络推理同时还能处理摄像头、IMU、舵机控制等多路任务。坏处是它不是实时系统Linux 下的调度抖动对高频率控制回路不友好。所以常见的架构是双核分工RK3566 负责高层决策、视觉、强化学习策略推理底下再挂一颗 MCU 负责 1kHz 级别的舵机闭环和 IMU 读取。这个分工逻辑很关键后面讲实操时会再展开。1.3 强化学习在这里到底扮演什么角色很多人一听强化学习驱动双足机器人就以为整个控制都是神经网络端到端输出的。实际在这类微小型项目里更常见的做法是分层控制。底层还是传统的 PID 或者位置控制保证每个关节能快速响应目标角度上层用强化学习训练一个策略网络输入是 IMU 的姿态、角速度、关节反馈输出是每个关节的目标角度或者目标位置增量。这样做的好处是训练难度大幅降低因为底层已经帮你处理了电机非线性和高频抖动策略网络只需要学“怎么迈步才能不摔”。训练流程通常是先在仿真里跑。Gazebo 或者 MuJoCo 里建一个简化模型把质量、惯量、关节限位、舵机延迟都尽量还原然后用 PPO、SAC 这类算法训练。这里有个经验仿真里的舵机模型如果只写成理想位置源上真机大概率会摔。因为真实舵机有响应延迟、有死区、有回程差这些在仿真里不体现策略就会学到一些依赖“瞬间到位”的危险动作。我的做法是在仿真里给关节目标加一阶惯性环节再叠加一点随机噪声让策略对延迟有鲁棒性。至于热搜里提到的因果强化学习、IQL 离线强化学习、基于模型的强化学习这些在微小型双足上目前更多是研究探索方向。因果强化学习的核心机制是把因果推断工具嵌入强化学习流程试图区分“相关”和“因果”在样本效率上有潜力但对微小型项目来说数据量和算力都有限实际落地还早。IQL 这类离线强化学习倒是值得关注因为它可以利用已有的真机摔倒数据来训练而不必反复在真机上试错。基于模型的强化学习在仿真里能提升样本效率但模型误差会直接影响真机迁移效果。我的建议是入门阶段先把 PPO 跑通别一上来就追新算法。2. 硬件选型与系统搭建的关键细节2.1 主控 RK3566 的定位与系统准备RK3566 在这套系统里承担的是“大脑”角色。它跑 Ubuntu 22.04 或者 Debian 这类完整 Linux 发行版负责策略网络推理、传感器融合、人机交互甚至还能跑一些轻量视觉任务。选它的理由很直接价格比树莓派低NPU 算力对小型网络够用接口有 USB、UART、I2C、SPI、PWM扩展性不错。但这里有个坑必须提前说很多 RK3566 板子的 Ubuntu 镜像默认没有 WiFi 驱动。这不是板子坏了而是厂商提供的镜像里没打包对应无线模块的固件。解决办法有几个一是直接用网线调试阶段最稳二是自己编译内核模块把对应 WiFi 芯片的驱动和固件加进去三是外接一个免驱的 USB 网卡。我个人的建议是调试阶段优先用网线等系统稳定了再折腾无线不然你会把大量时间浪费在“连不上网”这种和机器人本身无关的问题上。系统装好后第一件事是确认串口和 PWM 权限。Linux 下默认用户往往没有直接操作 GPIO 和 PWM 的权限需要配置 udev 规则或者把用户加入对应组。这个步骤看起来琐碎但不做的话后面控制舵机时会出现“程序没报错但舵机不动”的诡异现象。2.2 底层 MCU 与舵机控制链路前面提到双核分工底层 MCU 通常选 STM32F103 或者类似的 Cortex-M3/M4 芯片。它的任务很明确以 1kHz 频率读取 IMU运行关节闭环接收上层下发的目标角度输出 PWM 给舵机。为什么不让 RK3566 直接控舵机因为 Linux 的调度抖动可能达到几毫秒甚至十几毫秒对于需要稳定 50Hz 到 200Hz 更新的舵机控制来说这个抖动足以让步态变得一塌糊涂。舵机控制链路一般是RK3566 通过 UART 或者 USB 虚拟串口以固定频率把目标关节角度打包发给 MCUMCU 解析后对每个舵机做位置闭环同时把 IMU 数据和关节反馈回传给上层。这个通信协议不需要很复杂但一定要有校验和超时保护。我踩过的坑是上层程序崩溃后MCU 还在执行最后一条指令机器人会保持一个奇怪的姿势直到电池耗尽。后来加了心跳机制超过 200ms 没收到新指令就自动进入阻尼模式让机器人慢慢趴下。舵机供电也是个大问题。微小型双足在迈步瞬间多个舵机同时加速电流峰值可能达到稳态的好几倍。如果电源线太细或者电池放电能力不足会出现电压跌落导致 MCU 复位或者舵机抖动。我的经验是电源走线和信号线分开舵机电源用粗线直接接到电池中间加一个大电容缓冲MCU 和传感器用另一路稳压供电。这样能避免很多莫名其妙的复位和噪声问题。2.3 传感器配置与 IMU 选型双足机器人最核心的传感器就是 IMU。微小型平台上常见选择是 MPU6050、ICM20602、BMI088 这类。MPU6050 便宜但零漂大ICM20602 性能好一些BMI088 更稳但价格高。我的建议是至少用 ICM20602 级别因为姿态估计的精度直接决定策略网络能不能学到稳定步态。IMU 的安装位置也有讲究。最好放在靠近机器人质心的位置并且和机身刚性连接。如果 IMU 装在会振动的支架上加速度计读数会被振动污染姿态解算出来的角度会一直抖。我试过把 IMU 用双面胶粘在机身上结果走路时读数噪声明显增大后来改成螺丝固定加减震垫才好转。除了 IMU关节角度反馈也很重要。舵机本身通常能回传位置但精度和延迟参差不齐。如果预算允许可以在关键关节加装磁编码器或者电位器直接测量输出轴角度。这样底层闭环可以做得更准策略网络拿到的状态也更可靠。3. 强化学习训练流程与实操要点3.1 仿真环境搭建与模型还原训练的第一步是在仿真里把机器人模型建起来。常用工具是 Gazebo 或者 MuJoCo前者和 ROS 集成好后者物理仿真更准。模型文件一般用 URDF 或者 MJCF 描述需要填的质量、惯量、关节限位、摩擦系数这些参数最好从真实硬件上测或者从 CAD 模型里导出不要随便填。这里有个很实际的问题微小型机器人的质量分布对步态影响极大。电池放在哪个位置、舵机怎么排布都会改变质心和转动惯量。如果仿真模型和真机差太多训练出来的策略上真机就会失效。我的做法是先用 CAD 软件算出各连杆的质量和惯量再在仿真里核对一遍最后用真机做简单的摆动实验来验证。仿真里的舵机模型也要认真对待。理想位置源会让策略学到“瞬间到位”的动作真机上舵机根本做不到。我通常会给关节目标加一个一阶惯性环节时间常数根据舵机实测响应来定再叠加一点随机延迟和噪声。这样训练出来的策略对舵机响应慢、有回程差的情况会更鲁棒。3.2 奖励函数设计与训练调参奖励函数是强化学习训练里最需要反复打磨的部分。双足步态的奖励通常包含几块前进速度奖励、姿态保持奖励、能量消耗惩罚、关节限位惩罚、摔倒终止。前进速度奖励让机器人愿意往前走姿态保持奖励让它别歪能量惩罚让它别乱抖关节限位惩罚防止它把腿掰到奇怪的角度。这里的关键是权重分配。前进速度权重太低机器人会站在原地不动太高它会为了冲速度而摔倒。我的经验是先用一个较小的前进奖励让机器人学会站稳再逐步加大前进权重。姿态奖励可以用 roll 和 pitch 的平方和能量惩罚可以用关节力矩平方和或者关节速度平方和。训练算法上PPO 是比较稳的选择实现简单、调参相对容易。SAC 样本效率更高但调参更麻烦。如果仿真环境支持并行可以开多个环境同时采样训练速度会快很多。我一般会先跑一个短训练看看奖励曲线如果奖励一直不涨先检查奖励函数和终止条件而不是急着换算法。3.3 从仿真到真机的迁移策略仿真训练好之后策略网络要部署到 RK3566 上。这里有几个现实问题一是观测空间要对齐仿真里用的 IMU 数据、关节角度、角速度真机上要能一一对应二是动作空间要对齐仿真里输出的目标角度真机上要能通过 MCU 正确执行三是频率要对齐仿真里可能跑 100Hz真机上如果只能跑 50Hz策略表现会变差。我的做法是先在真机上做低速测试把机器人吊起来或者用手扶着让策略输出动作观察关节是否按预期运动。确认没问题后再放到地面上用较低的前进速度目标试走。如果一走就摔先别怀疑策略检查 IMU 姿态估计是否准确、舵机是否按指令到位、通信是否有延迟。域随机化是提升迁移效果的有效手段。在仿真里随机化质量、摩擦、舵机延迟、IMU 噪声让策略见过各种情况真机上就更稳。但随机化范围不能太大否则策略会学得过于保守走路畏畏缩缩。4. 软件架构与 Rust 的切入方式4.1 为什么考虑用 Rust 写上层逻辑热搜里出现了 Rust这其实反映了一个趋势越来越多机器人项目开始用 Rust 写上层逻辑。Rust 的优势在于内存安全、并发模型清晰、编译期检查严格对于需要长期稳定运行的机器人系统来说这些特性很有吸引力。C 虽然生态成熟但内存错误和并发 bug 排查起来很痛苦Rust 能在编译阶段挡掉很多问题。在这套系统里Rust 可以用来写策略推理节点、通信模块、状态机、日志系统。比如用tokio做异步串口通信用ndarray或者tch-rs做张量运算用serde做配置解析。Rust 的包管理工具 Cargo 也很好用依赖管理和交叉编译都比 C 省心。不过要提醒一句Rust 在嵌入式底层和实时控制上的生态还不如 C。MCU 上的舵机闭环、IMU 读取还是用 C 或者 C 更稳妥。Rust 更适合放在 RK3566 这一层做高层逻辑和通信。如果你刚入门 Rust建议先从写一个串口收发程序开始别一上来就搞整个机器人系统。4.2 软件模块划分与通信设计整套软件可以分成几个模块感知模块、策略模块、通信模块、控制模块、日志模块。感知模块负责读 IMU、关节角度做姿态解算策略模块加载训练好的网络根据观测输出动作通信模块负责和 MCU 交换数据控制模块处理底层闭环和异常保护日志模块记录运行数据方便复盘。通信协议设计上我倾向于用固定长度的二进制帧包含帧头、序号、数据区、校验和。数据区里按约定顺序排列各个关节目标角度、IMU 数据、状态标志。固定长度帧解析简单延迟低适合高频通信。如果用 JSON 或者文本协议解析开销大还容易因为格式问题出错。异常保护要贯穿整个系统。上层检测到姿态异常、通信超时、电池低压要能触发安全动作比如让机器人慢慢蹲下或者直接断电。底层 MCU 也要有独立保护不能完全依赖上层。我见过因为上层卡死导致机器人一直保持一个姿势直到舵机烧掉的案例后来加了硬件看门狗和底层超时保护才放心。4.3 开源架构的复用与二次开发开源架构最大的价值是让你不用从零开始。你可以直接拿到硬件图纸、固件代码、训练脚本、部署流程然后根据自己的需求改。但开源项目往往有“作者环境能跑你环境跑不起来”的问题所以拿到代码后第一件事是把依赖版本锁死用 Docker 或者虚拟环境把训练环境隔离出来。二次开发时建议先从改奖励函数或者改仿真参数开始别一上来就动网络结构。网络结构一改之前调好的超参数可能全废训练时间也会大幅增加。如果你想加视觉可以在 RK3566 上跑一个轻量目标检测把检测结果作为额外观测喂给策略网络但要注意推理延迟不能太大否则会影响控制频率。5. 常见问题排查与实操避坑记录5.1 真机步态不稳的排查顺序真机步态不稳是最常见的问题排查要按顺序来别乱猜。我的顺序是先看 IMU 姿态估计再看舵机响应再看通信延迟最后才怀疑策略。IMU 姿态估计如果漂了策略拿到的观测就是错的怎么调都白搭。舵机响应如果不到位策略输出的动作执行不出来也会摔。通信延迟如果太大策略的闭环就断了。具体检查方法把机器人拿在手里慢慢倾斜看上位机显示的 roll 和 pitch 是否跟得上、是否漂移给每个关节发阶跃指令看舵机是否快速到位、有没有明显延迟或过冲用示波器或者逻辑分析仪看通信帧的间隔是否稳定。这些基础检查做完再去看策略输出是否合理。5.2 训练不收敛的常见原因训练不收敛先看奖励曲线。如果奖励一直不涨可能是奖励函数设计有问题比如前进奖励太小、姿态惩罚太大机器人学来学去发现站着不动最划算。也可能是终止条件太苛刻机器人一迈步就判定摔倒根本没机会学。还可能是观测空间有问题比如某些观测值范围太大或者太小网络学不动。我的经验是先把问题简化让机器人只学站立奖励就是保持姿态看能不能学会。站立学会了再加前进奖励。如果站立都学不会说明仿真环境或者网络配置有问题。另外学习率、batch size、GAE 参数这些也会影响收敛但优先级低于奖励函数和终止条件。5.3 硬件层面的典型故障与处理硬件故障里舵机烧毁、电源复位、通信丢包是最常见的。舵机烧毁往往是因为堵转时间太长或者电压过高选型时要留足余量控制上要加电流限制或者温度保护。电源复位通常是电流峰值导致电压跌落解决办法是加大电容、加粗电源线、用放电能力更强的电池。通信丢包可能是线太长、波特率太高、或者地线没接好降低波特率、缩短线长、做好共地通常能解决。还有一个容易被忽略的问题是机械装配精度。微小型机器人的连杆如果装歪了左右腿不对称步态会一直往一边偏。装配时要用治具保证对称螺丝要拧紧但别滑丝。我见过因为一个舵机臂装偏了 5 度导致机器人一直转圈的案例排查了半天才发现是机械问题。5.4 常见问题速查表现象可能原因排查方法处理建议真机一走就摔IMU 姿态漂移手持倾斜看角度跟随重新校准 IMU检查安装刚性关节不动PWM 权限或接线问题直接发指令看舵机配置 udev 规则检查供电通信时断时续波特率过高或地线问题逻辑分析仪看波形降低波特率做好共地训练奖励不涨奖励函数或终止条件问题简化任务先学站立调整权重放宽终止条件舵机发热严重堵转或电压过高测电流和温度加限流检查机械卡滞系统频繁复位电源跌落示波器看电压加大电容加粗电源线6. 后续扩展方向与个人实操体会这套微小型双足鸭形机器人系统跑通基础步态之后能扩展的方向其实不少。视觉方面可以在 RK3566 上挂一个摄像头做简单的目标跟随或者避障把视觉特征作为额外观测喂给策略。多机方面可以研究多台机器人协同这就涉及到多智能体强化学习热搜里的多 AGV 路径规划强化学习思路可以借鉴。离线强化学习方面可以把真机运行数据收集起来用 IQL 这类算法做离线训练减少真机试错成本。我自己在实际操作中的体会是别指望一次就把所有东西都做对。仿真里跑通只是第一步真机上还有无数细节等着你。电源、通信、机械装配、传感器校准每一个环节出问题都会让机器人表现异常。我的习惯是每改一个地方就记录一次包括改了什么、为什么改、结果如何这样出问题的时候能快速定位。另外强化学习训练很吃时间别在训练的时候干等。可以同时做硬件优化、写日志分析工具、整理文档。训练完一轮先看数据再上真机别一激动就直接跑摔几次舵机就废了。最后再分享一个小技巧给机器人加一个紧急停止按钮硬件直接切断舵机电源那种。调试阶段这个按钮能救你很多次尤其是策略输出异常、机器人开始乱动的时候一键断电比什么都管用。