ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

Embodied-AI-Guide 硬件篇:面向具身智能的嵌入式、机械设计与数据采集技术栈指南

Embodied-AI-Guide 硬件篇:面向具身智能的嵌入式、机械设计与数据采集技术栈指南 人工智能具身智能机器人知识库教程【免费下载链接】Embodied-AI-Guide[Lumina具身智能社区] 具身智能技术指南 Embodied-AI-Guide项目地址https://gitcode.com/gh_mirrors/em/Embodied-AI-Guide点击查看免费下载本篇指南以 Lumina 具身智能社区维护的开源知识库 Embodied-AI-Guide 的 硬件篇topics/hardware.md 为主体系统梳理具身智能硬件涉及的七大技术栈嵌入式、机械设计、机器人系统设计、传感器、触觉感知、数据采集硬件与公司硬件生态。读完本文你将获得一条从最小系统到完整产品的硬件学习路线理解每一类硬件的核心作用与选型依据并掌握触觉感知、数据采集等前沿方向的关键资源与落地参考。硬件篇在 Embodied-AI-Guide 中的定位Embodied-AI-Guide 是一份偏百科全书定位的具身智能中文知识库按技术栈分为算法篇、软件基础设施篇、控制篇与硬件篇。其中硬件篇关注的是把算法变成真实世界里稳定可复现的系统这一目标——它与算法篇讨论的想让机器人做什么、控制篇回答的凭什么能连续、安全、可控地做到互为补充构成了完整的能力栈。从控制篇可以看到高频稳定控制与状态估计决定了系统下限而硬件篇进一步指出很多项目后期的崩溃并非算法问题而是控制链路与工程细节问题。因此硬件知识不是炫技代码而是系统可靠性的基石。学习总原则从最小系统出发先跑起来再扩展硬件篇在开篇给出了两个关键判断具身智能硬件涵盖多个技术栈——嵌入式软硬件、机械设计、机器人系统集成与传感器等知识面杂但共同目标只有一个把算法变成真实世界里稳定可复现的系统关于硬件学习最有效的方式几乎永远是从实践出发先做出一个能跑起来的最小系统再逐步扩展复杂度与可靠性。这条最小可运行闭环的思路与基础设施篇中先跑通一个仿真器 一个基准 一个数据集的最小闭环方法论完全一致仿真闭环解决算法侧能不能跑硬件闭环解决物理侧能不能稳两者最终在真实系统上汇合。(1) Embedded —— 嵌入式机器人的神经系统下限嵌入式决定了机器人神经系统的下限通信是否稳定、控制是否实时、驱动是否安全。硬件篇建议按入门单片机 → STM32 工程 → 电机驱动 → 嵌入式 Linux的顺序推进配套资源如下路线/主题资源链接说明总览路线嵌入式学习路线link用于建立学习路径与关键词地图入门51 单片机link江科大自动协经典入门主流工程STM32 单片机link从外设到工程结构驱动关键STM32 电机驱动野火link控制闭环常见落点工程体系野火 STM32 标准库link更贴近工程写法工程体系正点原子 STM32link资料全适合查漏补缺上位平台韦东山嵌入式 Linuxlink走向系统级开发与部署为什么先走这条路线单片机的裸机编程帮你建立寄存器、中断、外设与实时性的直觉STM32 工程结构让你接触主流商业级固件组织方式电机驱动是机器人控制闭环电流环/速度环/位置环的物理落点而嵌入式 Linux 则是运行现代感知、规划与 ROS 栈的上位平台。这四步正好对应感知—决策—执行链路中最靠近物理世界的部分。小结做具身硬件时嵌入式的价值不在写出更炫的代码而在系统能稳定跑、延迟可控、驱动可靠。结合控制篇的观点——PID 是真实机器人调试中第一个也是最常用的工具嵌入式正是让高频反馈控制得以实时执行的底座。(2) Mechanical Design —— 机械设计身体的能力边界机械设计决定了机器人身体的能力边界可达空间、刚度、负载、布线与维护成本等。对于算法同学来说机械最关键的产出通常是两类资产可制造的 CAD面向加工与装配的工程模型可用于仿真/控制的 URDF机器人学中的统一机器人描述格式是连接几何与算法的关键桥梁。主题资源链接说明CAD 入门SolidWorks 教学link面向装配体与工程制图工程衔接从 SolidWorks 生成 URDFlink用装配体导出机器人模型并进入仿真/控制URDF 的重要性可以从算法篇与控制篇中得到印证正逆运动学FK/IK求解、手眼标定、目标位姿到关节指令的转换全部依赖一套与真实本体一致的几何模型。CAD 是身体的图纸URDF 是身体在数字世界的替身二者缺一不可。(3) Robot System Design —— 机器人系统设计把模块拼成可维护产品系统设计关注的是**把多个模块拼成一个可维护系统**硬件接口、软件架构、标定流程、调试策略、日志与安全机制。硬件篇建议把系统设计当作把机器人做成产品的第一步。资源链接说明《机器人学简介》教材 PDF《机器人学简介》PDF质量高适合系统性阅读Robotic SystemsIllinoislink偏系统化机器人学的组织方式其中 《机器人学简介》PDF 直接存放在本仓库 files 目录下是该主题的官方配套教材适合系统性阅读Robotic SystemsIllinois则以系统化的方式组织机器人学知识两个资源可以交叉使用。这一部分与控制篇的工程生态ROS、MoveIt、多传感器时间同步形成呼应系统设计解决的是模块之间如何协作ROS 等中间件则是协作的具体实现载体。日志、标定、安全机制这些不直接提升指标的工程能力正是硬件篇反复强调的系统可靠性来源。(4) Sensors —— 传感器让机器人感知世界具身系统里常见传感器包括相机、深度相机、IMU、力/力矩、触觉等。硬件篇给出的选型建议是从能直接用于闭环的传感器开始相机/深度/IMU再逐步引入触觉等高难度模态——这与算法篇中视觉基础模型Depth Anything、FoundationPose 等所依赖的感知输入一一对应。(4.1) 深度相机Depth Camera设备/生态链接说明RealSense ROSlink工程中常见深度相机生态深度相机直接输出 RGB-D 数据是抓取、导航、3D 感知任务中最常用的视觉入口。RealSense ROS 生态成熟配合基础设施篇中提及的 RGB-D 模态数据集可以快速搭建感知输入—数据—模型的闭环。(5) Tactile Sensing —— 触觉感知接触、力与精细操作触觉是接触世界的关键模态尤其在装配、柔性物体、精细抓取和遮挡严重的场景中触觉往往比视觉更可靠。整体上触觉硬件路线常见两类视触觉Vision-based tactile与电子皮肤E-skin。(5.1) 视触觉传感器Vision-Based Tactile Sensors视触觉通过摄像头观测弹性介质/标记点的形变把触觉转化为视觉信号从而估计接触力、形变与接触几何。关键设计点通常包括传感器形状、标记点布局、材料硅胶/弹性体以及光照与成像系统。优点高分辨率、非侵入、易与视觉系统融合缺点依赖视觉计算、易受光照影响、光学与封装设计复杂两篇综述分别覆盖算法视角和结构视角建议作为起点 算法综述link 结构综述link(5.2) 电子皮肤Electronic Skin电子皮肤通常用柔性材料压力薄膜、纳米传感网络等实现大面积触觉目标是让机器人拥有类似全身触觉的能力用于安全、人机协作与全身接触交互。优点可大面积覆盖、高灵敏度、可伸缩适配复杂表面缺点制造与成本较高、数据规模大带来处理挑战、长期稳定性与漂移问题综述入口link(5.3) 触觉应用与算法把触觉变成能力触觉算法常见落点可以理解为四类姿态/接触估计、识别与分类、触觉操控技能、统一表征/大模型。方向代表工作链接姿态/接触估计in-hand3D Shape Perception from Monocular Vision, Touch, and Shape Priorslink姿态/接触估计in-sceneFast Model-Based Contact Patch and Pose Estimation…link分类/识别Understanding Dynamic Tactile Sensing for Liquid Property Estimationlink分类/识别Multimode Fusion Perception for Transparent Glass Recognitionlink触觉操控装配Active Extrinsic Contact Sensing: Peg-in-Hole Insertionlink触觉操控技能库Building a Library of Tactile Skills Based on Fingervisionlink触觉操控线缆Cable Manipulation with a Tactile-Reactive Gripperlink触觉操控精细手部Manipulation by Feel: Touch-Based Control with Deep Predictive Modelslink触觉操控visuotactileNeuralFeels with Neural Fields…link触觉大模型/统一表征Binding Touch to Everything… (CVPR 2024)link从这张表可以看到触觉研究的演进脉络从单模态接触估计利用触觉恢复物体三维形状到跨模态融合识别透明玻璃、液体属性等视觉难以胜任的任务再到触觉驱动的高频操控技能插孔装配、线缆操作、精细手部控制最后走向统一触觉表征与大模型——这与算法篇讨论的多模态大模型方向是同一趋势在触觉模态上的延伸。(5.4) 传感器购买从研究到落地市面上已有成熟的视触觉传感器产品例如 GelSightlink。若要在真实机器人上复现触觉算法如 Fingervision 技能库可直接选用这类产品化方案降低自研光学与封装的成本。(6) Data Collection —— 数据采集硬件具身数据的上游数据是具身智能策略的经验分布而数据采集硬件决定了数据的精度、规模与自然性。硬件篇梳理了四种典型采集范式采集范式代表系统 / 资源链接动机与特点双臂遥操作TeleoperationALOHAvideo通过主从机械臂映射直接采集高精度 action 多视角观测动机是为复杂 manipulation双臂、装配、工具提供可直接用于控制学习的数据第一人称数据Ego-centric VideoEgo-centric Manipulation—放弃精确动作标注换取低成本与大规模主要动机是学习人类操作的视觉先验与高层行为结构可穿戴示教Wearable / RetargetingUMIvideo直接利用人体动作进行示教强调示教效率与自然性需要额外的动作映射retargeting数据采集手套Data Gloves手部动作采集Zhihu面向灵巧手与精细操作动机是缩小人手与机器人手之间的表示差距常用于 in-hand manipulation四种范式本质上是精度与规模之间的权衡遥操作ALOHA 为代表产出高精度、带完整动作标注的数据直接可用于 ACT 等模仿学习策略训练但采集效率受限第一人称视频放弃动作标注换取海量数据适合学习人类行为先验可穿戴示教UMI 为代表用人体动作直接示教自然高效但需要 retargeting 把人体动作映射到机器人构型数据采集手套则聚焦灵巧手与精细操作缓解人-机表示差距。这一分类可以与基础设施篇的数据集章节对照阅读真实遥操作数据DROID、BridgeData V2 等、仿真合成数据MimicGen、DexMimicGen与异构机器人数据白虎数据集共同构成了策略训练的多元数据来源。README 中的 RoboTwin 2.0 学习流程也印证了这一点——先用仿真程序化生成双臂数据再训练 ACT 策略最后在评测协议下检验成功率形成数据—策略—评测的完整闭环。(7) Companies —— 公司与硬件生态从本体到数据平台硬件篇还整理了具身智能产业链上的主要公司与产品覆盖机械臂、四足/人形本体、灵巧手、触觉传感器、仿真平台与数据平台等多个环节公司主营产品Others松灵 AgileXpipper 六轴机械臂、PIKA 数采方案、Cobot Magic 双臂遥操作平台、移动底盘面向教育科研宇树 Unitree四足机器人开发指南、Go2 机器狗、AlienGo 机器狗、通用人形 H1、通用人形 G1许多产出使用宇树的机器人作为硬件基础方舟无限 ARXX5 机械臂、X7 双臂平台、R5 机械臂适合复现很多经典工作例如 aloha、RoboTwin 松灵底盘 方舟臂波士顿动力 Boston DynamicsSpot 机器狗、Atlas 通用人形具身智能本体制造商从液压驱动转向电机驱动灵心巧手Linker Hand L30健绳驱动、Linker Hand L20连杆驱动主攻各类灵巧手灵巧智能 DexRobotDexhand 021 灵巧手19 自由度量产灵巧手银河通用GALBOT G1专注于具身智能多模态大模型通用机器人研发星海图 GalaxeaA1 六轴机械臂、R1-Pro 仿人形机器人软硬件产品均自主研发专注于打造一脑多型World Labs专注于空间智能致力于打造大型世界模型LWM以感知、生成并与 3D 世界进行交互星动纪元Star1 人形、XHAND1 灵巧手加速进化Booster T1 人形人形机器人上海有限公司青龙机器人全尺寸通用人形机器人提供开源硬件设计图纸、软件框架代码、算法包和全链仿真工具云深处科技绝影 X30 四足机器人、Dr.01 人形机器人松应科技具身智能仿真平台供应商光轮智能具身智能数据平台智元机器人远征 A2 人形机器人、远征 A2-W 轮式人形、灵犀 X1 人形机器人、精灵 G1 轮式人形Nvidia具身智能基建公司求之科技TOK2 移动主从臂平台、MMK2 移动升降双臂平台、Play 六轴机械臂穹彻智能优必选具身风暴落地具身智能通用按摩机器人众擎机器人SE 01、PM 01魔法原子MagicBot、MagicDog帕西尼PX-6AX GEN2 触觉传感器、DexH13 GEN2 灵巧手、TORA-ONE 人形机器人如何理解这张生态表它展示了具身智能硬件从本体到传感器再到数据/仿真平台的完整供应链。选择硬件时可以从三问出发——(1) 我要验证什么问题复现 aloha 选 ARX 双臂四足研究选宇树(2) 我需要什么模态精细操作选灵巧手接触感知选帕西尼触觉传感器(3) 我需要什么数据形态遥操作平台 vs 可穿戴示教 vs 仿真数据再回落到本文第 (6) 节的数据采集框架做最终决策。结语一张硬件学习路线图综合硬件篇的完整脉络一条面向具身智能的硬件学习路线可以总结为四步打底Embedded从单片机到嵌入式 Linux建立实时控制与驱动的工程直觉——这是控制篇所述高频控制稳定的物理前提建模Mechanical掌握 CAD 与 URDF为算法篇的 IK/手眼标定等工程环节提供几何基础集成System Sensors按能直接用于闭环的优先级引入深度相机/IMU再用触觉覆盖接触感知最后用系统设计方法论把模块拼成可维护、可调试、有安全机制的产品采数Data Collection在遥操作、第一人称、可穿戴示教与数据手套之间按精度 vs 规模取舍为策略训练提供数据源。始终记住硬件篇的核心方法论从实践出发先做出一个能跑起来的最小系统再逐步扩展复杂度与可靠性——这正是把算法变成真实世界里稳定可复现系统的唯一路径。更多配套内容可继续阅读本仓库的算法篇、控制篇与基础设施篇构建完整的具身智能能力栈。赞分享人工智能具身智能机器人知识库教程【免费下载链接】Embodied-AI-Guide[Lumina具身智能社区] 具身智能技术指南 Embodied-AI-Guide项目地址https://gitcode.com/gh_mirrors/em/Embodied-AI-Guide点击查看免费下载相关推荐GSYGithubAppWeex与同系列项目对比uni-app、React Native、Flutter技术选型终极指南GSYGithubAppWeex与同系列项目对比uni app、React Native、Flutter技术选型终极指南 GSYGithubAppWeex作为具身智能软件基础设施全景指南仿真器、评测基准与数据集Embodied-AI-Guide 基础设施篇具身智能软件基础设施全景指南仿真器、评测基准与数据集Embodied AI Guide 基础设施篇 本文是 Embodied AI Guide https人工智能具身智能机器人知识库教程Embodied-AI-Guide 算法篇深度导读具身智能算法能力栈全景指南Embodied AI Guide 算法篇深度导读具身智能算法能力栈全景指南 本篇文章以 topics/algorithm.md https://link.g人工智能具身智能机器人知识库教程创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表