阿里：构建具身智能通用操作系统

标题ABot-AgentOS: A General Robotic Agent OS with Lifelong Multi-modal Memory来源arXiv, 2607.10350v2️文章简介研究问题如何解决长周期具身智能体在推理执行、跨形态泛化及持久多模态记忆方面的缺失主要贡献论文提出ABot-AgentOS通用机器人代理操作系统引入EmbodiedWorldBench基准及支持终身自进化的多模态图记忆系统。重点思路架构设计构建位于底层控制器之上的Agent OS层采用边缘-云协同路由机制。边缘端Tiny LLM处理低延迟感知与常规决策云端Large LLM负责复杂推理与规划实现认知与执行的解耦。执行框架设计Agent Harness包含场景条件任务规划、技能运行器Skill Runner和多阶段验证器。主LLM负责高层规划技能运行器隔离处理局部过程性执行验证器在运行时和结束时检查环境证据防止幻觉和过早终止。记忆系统引入通用多模态图记忆将对话、视觉、时空关系转化为类型化节点和边。采用混合检索机制获取局部证据子图并设计隐私感知的边缘-云记忆管理区分私有与共享记忆。自进化机制建立故障驱动的终身自进化循环。通过诊断记忆写入、检索或回答失败生成受控的运行时进化资产evo-assets经门控验证后仅应用于后续数据分割避免数据泄露并实现持续改进。基准构建发布EmbodiedWorldBench涵盖16个室内外混合场景及200任务涉及导航、搜索、NPC交互及动态事件提供基于轨迹的可执行评估标准。分析总结代理性能提升在EmbodiedWorldBench子集上相比单控制器基线ABot-AgentOS的任务成功率提升约12%目标完成率提升约11%证明分层执行与验证机制的有效性。记忆基准表现在LoCoMo、OpenEQA、Mem-Gallery等五个记忆基准测试中静态图记忆系统均优于现有基线方法特别是在需要溯源和多模态关系推理的任务中表现优异。自进化效果引入自进化机制后各基准测试分数进一步提升如LoCoMo从87.5提升至88.7证明故障诊断转化的进化资产能有效修正系统性错误且不退化原有能力。模型训练策略通过文本沙盒环境进行教师轨迹蒸馏和基于LLM裁判奖励的强化学习成功将长周期工具使用能力迁移至小型部署模型提升了推理效率与成本效益。个人观点论文将操作系统理念引入具身智能通过模块化架构解决了大模型与物理执行间的鸿沟。