尧图网站建设 
摘要本文解读 NeurIPS 2025 论文《Failure Prediction at Runtime for Generative Robot Policies》。该论文提出FIPER——一个面向生成式机器人策略的运行时失效预测框架通过融合策略嵌入空间的分布外检测RND-OE、动作块熵ACE与共形预测校准在不接触任何失败样本的前提下判断当前 rollout 是否会失败其特别之处在于要求两条信号同时越界才报警从而在保持高召回的同时把误报压下来。实验表明FIPER 在三个仿真与两个真机环境上的平均准确率达到 0.78、时序加权准确率 TWA 为 0.65、召回率 TPR 为 0.92全面优于 PCA-kmeans、logpZO、RND-A 与 STAC 四条基线最强基线准确率 0.69为生成式模仿学习策略的安全部署提供了可直接复用的运行时监控组件。视频讲解点击观看 B 站视频摘要论文基本信息背景与动机研究主线从问题到结论基准/方法设计分类全景方法细节实验设计与结果结果对比总结关键发现局限性常见问题FAQFIPER 真的完全不需要任何失败数据吗为什么不能只用分布外检测来判断失败为什么要用熵而不是动作方差来衡量不确定性共形预测在这里到底起了什么作用TWA 和普通准确率有什么区别这套方法能直接用到其他机器人任务上吗参考链接论文基本信息项目内容标题英文Failure Prediction at Runtime for Generative Robot Policies标题中文生成式机器人策略的运行时失效预测作者Ralf Römer*Adrian Kobras*Luca WorbisAngela P. Schoellig*共同一作机构慕尼黑工业大学TUM· Learning Systems and Robotics Lab (LSY)会议NeurIPS 2025arXivhttps://arxiv.org/abs/2510.09459项目网站https://tum-lsy.github.io/fiper_website背景与动机用扩散模型和流匹配来训练机器人策略也就是常说的生成式模仿学习已经让机器人可以完成相当复杂的长时序操作任务。但这类策略在部署时有一个绕不开的问题只要遇到训练分布之外的环境或者动作预测的误差开始逐步累积它们就可能突然产生不可预测甚至危险的行为最终导致任务失败。在有人参与的、安全敏感的场景里尽早发现这种趋势是刚需因为只有提前预警才有可能及时介入或者切换到一个安全的兜底策略。问题在于失效预测很难被当作一个普通的分类问题来处理原因有两条。第一故意制造失败样本来训练分类器会直接危及机器人本身和周围环境代价不可接受。第二真实世界里的失效模式实在太多闭环运行中可能出现的情况几乎无法穷举因此标注失败数据这条路在工程上根本走不通。换句话说这是一个没有正样本的二分类问题。已有的方法大致分成两类而两类都有明显短板。第一类是纯分布外检测它把任何没见过的观测都当作异常。可是生成式策略本身是有一定泛化能力的遇到新场景未必会失败于是这类方法会在策略本来能处理的情况下频繁误报。第二类是用视觉语言模型在外部监控机器人的行为进展但这类方法本质上只能事后报警——等错误已经表现在画面里时留给系统反应的时间已经所剩无几。此外还有一批工作只看策略的输入或只看输出比如 FAIL-DetectlogpZO只建模观测嵌入的分布STAC 只计算相邻两次动作分布之间的时序一致性RND-AReDiffuser只评估生成动作的可靠性。割裂地看单侧信号就必然漏掉另一侧的先兆。FIPER 的出发点正是一个关于失效本质的观察真正的任务失败往往同时伴随两件事——观测连续多个时间步偏离成功轨迹的模式以及策略生成的动作分布在持续地不尖锐。观测侧的偏离说明策略看到了陌生的东西动作侧的弥散说明策略不知道该怎么做只有两者同时出现才是真正的失效而单独的任何一个都可能是无害的。这个观察也解释了论文为什么先把问题重新表述失效预测不是训练一个分类器而是只用成功样本做校准的异常检测。这一步重述是整篇工作的关键——把不可解的问题换成可解的问题。研究主线从问题到结论图 10研究主线Mermaid 流程图从「失效预测缺乏失败数据」的问题出发经过「纯 OOD 会误报、VLM 只能事后」的动机分析落到「观测偏离 动作弥散」的双信号判据再由 RND-OE 与 ACE 加共形预测实现最后在五个环境上验证。基准/方法设计FIPER 的整体结构是这样的两条独立的评分通路各自滑窗聚合各自用共形预测校准出时变阈值最后用逻辑合取把两个判定组合起来。图 1FIPER 总体框架观测侧用随机网络蒸馏在策略嵌入空间检测连续 OOD 观测RND-OE动作侧用动作块熵度量生成动作的持续高不确定性ACE两条分数各自由少量成功 rollout 经共形预测校准阈值并在滑窗上聚合仅当两个子模块同时发出警告时才判定为失效。其中逻辑合取这个设计值得单独说明。论文做了直接的消融如果改成逻辑析取只要有一个越界就报警召回率 TPR 会接近 1.0但真阴性率 TNR 会崩到 0.18 到 0.43 之间——也就是说几乎所有原本成功的 rollout 都会被误报。改用合取之后平均 TNR 回到 0.65而 TPR 仍然保持在 0.92。这说明两个条件同时满足并不是一个保守的工程折中而是准确刻画了失效的结构。分类全景论文把与 FIPER 相关的信号分成两大类每类又分观测侧与动作侧本文提出的两个分数在两侧各占一个位置并与四条基线一一对应。图 11信号分类全景Mermaid 图不确定性信号分为观测侧与动作侧两类。观测侧包括 PCA-kmeans、logpZO 与本文的 RND-OE动作侧包括 STAC、RND-A 与本文的 ACE——本文在两个方向上各提出了一个分数。方法细节观测侧RND-OE随机网络蒸馏。方法采用随机网络蒸馏但做了一个关键改动不作用在原始图像上而是作用在策略自身的观测嵌入空间里。目标网络随机初始化后冻结预测网络只在成功的同分布数据上训练去拟合目标网络的输出训练完成后对于与成功轨迹相似的观测两个网络的输出会很接近而对于陌生的观测预测网络没见过输出就会明显偏离这个偏差的二范数就是 RND-OE 分数。直接在策略嵌入空间工作带来两个好处。其一策略的观测编码器是端到端跟策略一起训练的它天然会把与任务无关的纹理、光照变化过滤掉因此在这里检测到的异常比在原始像素上检测到的更贴近策略真正在意的东西论文也指出直接在原始图像上做分布外检测在真机任务上误报率会明显偏高。其二因为复用了预训练好的特征提取器RND 只需很小的数据集就能训好这一点对真机场景尤其重要——成功 rollout 的采集成本远低于失败 rollout。图 2RND-OE 在策略的观测嵌入空间工作目标网络随机初始化后冻结预测网络只在成功 ID 数据上训练。对训练分布内的观测两者输出接近对偏离成功分布的新观测则产生大偏差——因而分数直接反映策略看到的东西是否还像成功时。动作侧ACE动作块熵。观测只能说明当前看到的对不对而系统未来的演化最终由策略生成并执行的动作决定。这里论文指出了一个容易被忽略的事实在模仿学习里专家示范经常是多模态的——机器人可以先抓 A、B 或者 C可以从侧面抓也可以从上面抓可以绕左边也可以绕右边。这种多模态体现在熵上而不是方差上。如果直接用动作之间的方差来度量不确定性就会把多模态但每个模态都很尖锐的情况策略其实很确定误判成高不确定。因此论文用熵来刻画条件动作分布的众数尖锐度但要直接估计 $H$ 维动作块联合分布的熵样本量会随 $H$ 指数增长远超常见 GPU 的并行能力。ACE 的做法是把预测的各个时间步分开处理对每个策略步采样 $B$ 条动作块按维度分箱后逐步求熵再求和。这样既把维度问题拆掉了又保留了策略在每一步是否犹豫的信息。此外ACE 是在末端执行器的笛卡尔位置空间里计算的任何操作任务都可以通过正运动学把关节量换算过去这样得到的分数既便宜又对应到任务真正发生的那三维空间。配置与训练。论文刻意为不同任务选了不同的生成式建模方式以检验方法的通用性。Sorting 与 Stacking 使用流匹配加 ACT 的 transformer 骨干动作块长度 $H$ 为 8、每次执行 4 步PushT、Pretzel 与 PushChair 使用扩散模型加时序 U-Net块长 16、执行 8 步或 4 步。所有任务的图像编码器统一使用 ResNet-18。RND-OE 的预测网络是 6 层 MLP、目标网络 4 层训练 250 个 epochbatch size 为 256优化器用 AdamW 配 cosine 学习率调度学习率为 $1 \times 10^{-4}$权重衰减 $1 \times 10^{-5}$。校准。两条分数的阈值都用共形预测来定并且只用成功的 rollout。论文考察了三种阈值定义把整条 rollout 上的最大分数作为非一致性度量的CP constant用函数型数据的共形预测构造的时变区间CP band以及直接按逐个时间步的分数分位数算出的时变阈值。三者的取舍很清晰CP 型阈值按构造给误报概率一个上界因此更保守、报警更晚时变阈值更敏感能更早预警但误报更多。实验设计与结果评测覆盖三个仿真任务和两个真机任务。Sorting 要求 Franka 把两个方块推进颜色匹配的盒子Stacking 要求把三个方块叠到目标区域PushT 要求把平面的 T 形物推到目标位姿真机方面Pretzel 要求把绳子折成蝴蝶结PushChair 要求移动机械臂把椅子推到桌子下面。分布外场景通过改变方块尺寸、目标区域位置、T 形物的尺寸与比例、绳子的初始位置与绕轴旋转、以及椅子的初始位姿来构造。需要说明的是任务的难度分布。同分布条件下成功率从 Sorting 的 0.89 一路降到 PushT 的 0.40引入分布外变化之后进一步降到 0.57、0.36 和 0.29两个真机任务的同分布成功率分别是 0.5 和 0.67。特别有意思的是 Pretzel 里的一种失效绕绳子自身轴线的旋转会改变各向异性绳材的弯曲行为而这一点从初始图像里根本看不出来必须等机器人把一端放到桌上、绳子自己弹回去才在多个时间步之后暴露。这正好是观测侧先动、动作侧随后确认这一双信号设计最擅长的场景。评测协议方面仿真环境使用 50 条成功 rollout真机任务使用 10 条这些数据同时用于训练 RND-OE 和校准阈值校准分位数 $1-\delta$ 从 0.90 到 0.99 全部取平均避免挑选一个对某个方法特别有利的分位数所有结果报告五个随机种子的均值和标准差。指标除了常规的 TPR、TNR、平衡准确率和归一化检测时间 DT论文还提出了TWA时序加权准确率它把正确检出的失败按提前量给分越早发现得分越高从而在单个标量里同时衡量准和早这两个目标。图 3三个仿真任务的成功与失败 rollout 示例。OOD 通过改变方块尺寸、目标区域位置、T 形物尺寸与比例等引入Stacking 考察简化的 Stacking-1 子任务以保证引入 OOD 后仍有足够成功率来评估失效预测。图 4两个真机任务。PretzelFranka 把绳子折成蝴蝶结OOD 来自绳子初态平移与绕轴旋转——后者改变弯曲行为且无法从初始图像察觉只有放置一端后才暴露。PushChair移动机械臂把椅子推到桌下失败多因未推在靠背中心导致椅子大幅旋转。图 5a–c在模仿学习的多模态示范里不确定性体现在熵而不是方差多模态但每模都尖锐c与单模态a同样是低不确定而分不开模b才是高不确定。dACE 按逐预测步的熵设计因此不会像 STAC 那样把切换行为模式的时刻误判为高不确定。主结果如下表指标是 TWA越高越好数值为五个随机种子的均值任务PCA-kmeanslogpZOSTACFIPER本文Sorting0.490.540.460.54Stacking0.660.580.590.62PushT0.530.520.580.55Pretzel0.640.580.510.68PushChair0.500.780.730.83平均0.570.600.570.65FIPER 在 Sorting、Pretzel 和 PushChair 上取得最好或并列最好的成绩平均 TWA 为 0.65。对应的平均准确率是 0.78最强基线 logpZO 为 0.69平均 TPR 达到 0.92而平均检测时间仍然只有 0.30。真机任务上的优势尤其明显PushChair 上 FIPER 的 TWA 是 0.83、准确率 0.96而该任务上最强的基线 logpZO 只有 0.78 和 0.92。论文还把两个分量单独拉出来做了对比看每个模块各自的贡献任务RND-ARND-OE本文ACE本文FIPER合取Sorting0.550.520.540.54Stacking0.500.620.620.62PushT0.520.540.560.55Pretzel0.510.550.750.68PushChair0.710.740.690.83平均0.560.590.630.65结论是两者互补RND-OE 的可解释性与检测速度最好平均检测时间只有 0.18是所有方法里最快的ACE 的判别力最好在 Pretzel 上拿到最高的 TWA 0.75在动作多模态很强的任务上能预测 76% 到 99% 的失败而 STAC 在同类任务上的 TPR 甚至不到 0.5。合取之后平均 TWA 达到 0.65是全部配置里最高的。图 6各不确定性分数在四类 rolloutSuccess ID / Success OOD / Fail ID / Fail OOD上的分布均按对应的共形阈值归一化。失效预测的关键在于把 Success OOD 与 Fail ID 分开RND-OE 与 ACE 的这两个均值间距明显大于其对照方法。图 7滑窗长度 $w$ 对三种阈值类型的影响跨 5 个种子取均值误差棒为标准差。$w$ 取 1只看当前步准确率偏低增大窗口提升准确率但普遍推迟检测。最优 $w$ 随方法与阈值类型变化显著因此主表按跨任务 TWA 最高为每个方法各自选取 $w$。论文专门比较了三种聚合方式。把历史分数一直累加这种做法看起来有效但论文的分析指出它主要识别的是失败的 rollout 通常更长这一事实因此报警时间明显偏晚只取当前时间步则相反TNR 很低、几乎把所有成功 rollout 都标成失败。滑动窗口是两者之间的正确折中它让方法真正具备提前预告的能力。阈值类型的消融结果也很实用。CP constant 阈值把 TNR 做到了 0.87误报最少但报警最晚时变阈值 TWA 最高达到 0.65。论文据此给出一个操作性很强的定位CP 型阈值更适合做失效检测时变阈值更适合做失效预测到底选哪种取决于具体应用是更怕漏报还是更怕误报——比如手术辅助和协同装配线上宁可多几次误报也要尽早预警而在物流场景里一次错误报警可能意味着人工复核成本反而更适合保守的阈值。图 8三种阈值类型的直接对比跨 5 个种子取均值。CP band 与 CP constant 的阈值更高因而 TNR 很高但报警明显更晚时变阈值在 TWA 上整体最好。这与CP 型更适合检测、时变型更适合预测的定位一致。图 9校准分位数 $1-\delta$ 的影响窗口固定 $w15$。提高 $1-\delta$ 会让预测更保守TPR 下降、TNR 上升二者在准确率与 TWA 上大体抵消——因此本文不挑单一分位数而是在 ${0.90, 0.91, \dots, 0.99}$ 上取平均。结果对比总结图 12结果对比总结Mermaid 流程图纯 OOD 基线的 TNR 只有 0.24 到 0.45STAC 在多模态任务上 TPR 不到 0.5两条线索都汇入「双信号合取」最终得到平均准确率 0.78、TWA 0.65、检测时间 0.30、TPR 0.92。关键发现双信号合取是低误报的关键。改成逻辑析取时 TPR 接近 1.0但平均 TNR 只有 0.18 到 0.43合取把 TNR 拉回 0.65同时 TPR 仍保持 0.92平均 TWA 从 0.59 提升到 0.65。两个模块的强项互补。RND-OE 单用检测时间仅 0.18为全场最快ACE 单用在 Pretzel 上 TWA 达 0.75、平均准确率 0.74在强多模态任务上召回 76% 到 99% 的失败。滑动窗口优于累积分数。累积分数在成功与失败 rollout 时长差异大的任务上表现更好但那是识别到了更长的 rollout而不是提前预测滑窗才能给出真正有提前量的预警。在真机上优势更明显。PushChair 任务 FIPER 准确率 0.96、TWA 0.83Pretzel 准确率 0.85均明显超过所有基线。零失败数据是可行的。全部结果只依赖 50 条仿真与 10 条真机成功 rollout验证了把失效预测重述为可校准异常检测这一思路的有效性。代价可控。把全部任务、窗口长度与分位数组合跑一遍单个随机种子在一张 RTX 4090 上约需 1 小时。局限性论文本身对局限的讨论相当坦诚同时在最需要压性能的附录里列出了几条更细的问题准确率仍不够用。最佳 TWA 对应的准确率只有 78%对于漏报代价极高、误报又需要人工复核的装配线场景仍然偏低。作者建议增加校准 rollout 的数量或者复用策略自己的训练数据。历史信息利用不足。历史只通过滑动窗口进入分数聚合没有进入分数本身的计算。作者推测过去的观测与动作预测里可能含有更早的预警信号这仍是开放问题。RND-OE 需要单独训练。虽然比深度集成和 MC Dropout 省数据得多仍然需要额外采集成功 rollout 并训练一个与策略解耦的模型。时变阈值有隐含假设。它假定成功 rollout 的时序模式基本一致如果策略第二次尝试才成功、导致时间轴整体平移或者某些时间步在校准集中出现次数不足时变阈值就会失效此时常量阈值可能更合适。数据固有随机性会压低召回。如果示范数据本身方差很大生成动作的分布自然弥散阈值就被抬高TPR 随之下降。如何把 aleatoric 与 epistemic 不确定性解耦作者认为仍是有价值的研究方向。仅验证了单任务视觉策略。论文只在基于视觉的单任务模仿学习策略上做了实验扩展到语言、触觉、听觉等额外模态目前仍是未经检验的假设。常见问题FAQFIPER 真的完全不需要任何失败数据吗是的训练与校准只使用成功的rolloutRND-OE 在成功数据上训练两条分数的阈值也用成功数据做共形预测校准。但要注意不需要失败数据不等于不需要数据——仿真任务需要 50 条、真机任务需要 10 条成功 rollout这是它相对纯无监督方法的一个前提条件。为什么不能只用分布外检测来判断失败因为生成式策略本身具备一定的泛化能力遇到训练分布之外的新场景未必会失败。纯分布外检测会把这类能应付的新情况一并判成异常造成大量误报。论文中 PCA-kmeans 基线的 TNR 只有 0.24就是把大多数 rollout 都标成失败的直接后果。FIPER 的解法是要求动作侧同时给出高不确定性——策略看到了陌生东西并且确实不知道怎么做才算真失效。为什么要用熵而不是动作方差来衡量不确定性因为模仿学习里的动作多模态是离散的抓 A 还是 B、从侧面还是上面、绕左还是绕右。这种情形的分布是多个尖锐的模态方差可能很大但策略其实非常确定。只有当一个模态本身就弥散、分不开的时候才意味着策略真的不确定。论文用一张示意图说明了这一点并指出 STAC 之所以在强多模态任务上 TPR 不到 0.5正是因为它会把切换行为模式的时刻误判成高不确定。共形预测在这里到底起了什么作用它把阈值定多少从拍脑袋的超参数变成一个有统计保证的构造。给定 $\delta$校准出的阈值保证新的成功同分布 rollout 被误判为失败的概率不超过 $\delta$这正是安全关键系统能够接纳这个模块的前提。不过论文也说明了这个保证只在同分布成功 rollout 上严格成立而实验是在包含分布外的数据上评估的因此实际误报率并不会精确等于 $\delta$。TWA 和普通准确率有什么区别普通准确率只看最终判定对不对一个拖到 episode 最后一刻才报警的方法也能拿到高准确率但那时已经无法介入。TWA 把正确检出的失败按提前量给分在第 $t$ 步正确预警、episode 总长 $T$就贡献 $1 - t/T$ 的分数越早越高。这样单个指标就同时编码了准和早两件事。这套方法能直接用到其他机器人任务上吗论文给出了两个前提一是任务失败要有明确定义存在最大 episode 长度和清晰目标例如运动控制可以用参考速度的容差来定义失败二是动作能够表示或变换到笛卡尔空间导航可以用底座位置四足可以按每只脚分别求熵再聚合。在这两个条件下作者认为方法可以迁移到导航和运动控制等其它任务扩展到大规模 VLA 与额外输入模态则是作者留待未来验证的方向。参考链接论文 arXiv 摘要页https://arxiv.org/abs/2510.09459项目主页代码、数据与视频https://tum-lsy.github.io/fiper_website随机网络蒸馏 RND 原始工作https://arxiv.org/abs/1810.12894Sentinel / STAC 基线工作同时提供 PushT 与 PushChair 数据https://arxiv.org/abs/2409.07645FAIL-Detect 基线工作https://arxiv.org/abs/2502.01983Diffusion Policy 骨干与观测编码器设计https://arxiv.org/abs/2303.04137共形预测入门综述https://arxiv.org/abs/2107.07511给大家推荐一款自用写文献综述、无虚构文献的 AI复旦大学 FudanNLP 团队自研 切问学术官网qiewenpaper.com覆盖3.6 亿篇可溯源真实中英文文献能自动整合文献观点生成规范综述还能挖掘研究创新点、复现实验配合视频教学新手快速上手文献综述写作后记博客的关键词集中在编程、算法、机器人、人工智能、数学等等持续高质量输出中。讨论QQ群白拾的小屋 (750365700)⭐B站账号白拾的物理AI组会活跃于知识区和动画区✨GitHub主页YhbCode000工程文件 【NeurIPS 2025】FIPER 论文解读：生成式机器人策略的运行时失效预测｜从机器人安全部署视角
摘要本文解读 NeurIPS 2025 论文《Failure Prediction at Runtime for Generative Robot Policies》。该论文提出FIPER——一个面向生成式机器人策略的运行时失效预测框架通过融合策略嵌入空间的分布外检测RND-OE、动作块熵ACE与共形预测校准在不接触任何失败样本的前提下判断当前 rollout 是否会失败其特别之处在于要求两条信号同时越界才报警从而在保持高召回的同时把误报压下来。实验表明FIPER 在三个仿真与两个真机环境上的平均准确率达到 0.78、时序加权准确率 TWA 为 0.65、召回率 TPR 为 0.92全面优于 PCA-kmeans、logpZO、RND-A 与 STAC 四条基线最强基线准确率 0.69为生成式模仿学习策略的安全部署提供了可直接复用的运行时监控组件。视频讲解点击观看 B 站视频摘要论文基本信息背景与动机研究主线从问题到结论基准/方法设计分类全景方法细节实验设计与结果结果对比总结关键发现局限性常见问题FAQFIPER 真的完全不需要任何失败数据吗为什么不能只用分布外检测来判断失败为什么要用熵而不是动作方差来衡量不确定性共形预测在这里到底起了什么作用TWA 和普通准确率有什么区别这套方法能直接用到其他机器人任务上吗参考链接论文基本信息项目内容标题英文Failure Prediction at Runtime for Generative Robot Policies标题中文生成式机器人策略的运行时失效预测作者Ralf Römer*Adrian Kobras*Luca WorbisAngela P. Schoellig*共同一作机构慕尼黑工业大学TUM· Learning Systems and Robotics Lab (LSY)会议NeurIPS 2025arXivhttps://arxiv.org/abs/2510.09459项目网站https://tum-lsy.github.io/fiper_website背景与动机用扩散模型和流匹配来训练机器人策略也就是常说的生成式模仿学习已经让机器人可以完成相当复杂的长时序操作任务。但这类策略在部署时有一个绕不开的问题只要遇到训练分布之外的环境或者动作预测的误差开始逐步累积它们就可能突然产生不可预测甚至危险的行为最终导致任务失败。在有人参与的、安全敏感的场景里尽早发现这种趋势是刚需因为只有提前预警才有可能及时介入或者切换到一个安全的兜底策略。问题在于失效预测很难被当作一个普通的分类问题来处理原因有两条。第一故意制造失败样本来训练分类器会直接危及机器人本身和周围环境代价不可接受。第二真实世界里的失效模式实在太多闭环运行中可能出现的情况几乎无法穷举因此标注失败数据这条路在工程上根本走不通。换句话说这是一个没有正样本的二分类问题。已有的方法大致分成两类而两类都有明显短板。第一类是纯分布外检测它把任何没见过的观测都当作异常。可是生成式策略本身是有一定泛化能力的遇到新场景未必会失败于是这类方法会在策略本来能处理的情况下频繁误报。第二类是用视觉语言模型在外部监控机器人的行为进展但这类方法本质上只能事后报警——等错误已经表现在画面里时留给系统反应的时间已经所剩无几。此外还有一批工作只看策略的输入或只看输出比如 FAIL-DetectlogpZO只建模观测嵌入的分布STAC 只计算相邻两次动作分布之间的时序一致性RND-AReDiffuser只评估生成动作的可靠性。割裂地看单侧信号就必然漏掉另一侧的先兆。FIPER 的出发点正是一个关于失效本质的观察真正的任务失败往往同时伴随两件事——观测连续多个时间步偏离成功轨迹的模式以及策略生成的动作分布在持续地不尖锐。观测侧的偏离说明策略看到了陌生的东西动作侧的弥散说明策略不知道该怎么做只有两者同时出现才是真正的失效而单独的任何一个都可能是无害的。这个观察也解释了论文为什么先把问题重新表述失效预测不是训练一个分类器而是只用成功样本做校准的异常检测。这一步重述是整篇工作的关键——把不可解的问题换成可解的问题。研究主线从问题到结论图 10研究主线Mermaid 流程图从「失效预测缺乏失败数据」的问题出发经过「纯 OOD 会误报、VLM 只能事后」的动机分析落到「观测偏离 动作弥散」的双信号判据再由 RND-OE 与 ACE 加共形预测实现最后在五个环境上验证。基准/方法设计FIPER 的整体结构是这样的两条独立的评分通路各自滑窗聚合各自用共形预测校准出时变阈值最后用逻辑合取把两个判定组合起来。图 1FIPER 总体框架观测侧用随机网络蒸馏在策略嵌入空间检测连续 OOD 观测RND-OE动作侧用动作块熵度量生成动作的持续高不确定性ACE两条分数各自由少量成功 rollout 经共形预测校准阈值并在滑窗上聚合仅当两个子模块同时发出警告时才判定为失效。其中逻辑合取这个设计值得单独说明。论文做了直接的消融如果改成逻辑析取只要有一个越界就报警召回率 TPR 会接近 1.0但真阴性率 TNR 会崩到 0.18 到 0.43 之间——也就是说几乎所有原本成功的 rollout 都会被误报。改用合取之后平均 TNR 回到 0.65而 TPR 仍然保持在 0.92。这说明两个条件同时满足并不是一个保守的工程折中而是准确刻画了失效的结构。分类全景论文把与 FIPER 相关的信号分成两大类每类又分观测侧与动作侧本文提出的两个分数在两侧各占一个位置并与四条基线一一对应。图 11信号分类全景Mermaid 图不确定性信号分为观测侧与动作侧两类。观测侧包括 PCA-kmeans、logpZO 与本文的 RND-OE动作侧包括 STAC、RND-A 与本文的 ACE——本文在两个方向上各提出了一个分数。方法细节观测侧RND-OE随机网络蒸馏。方法采用随机网络蒸馏但做了一个关键改动不作用在原始图像上而是作用在策略自身的观测嵌入空间里。目标网络随机初始化后冻结预测网络只在成功的同分布数据上训练去拟合目标网络的输出训练完成后对于与成功轨迹相似的观测两个网络的输出会很接近而对于陌生的观测预测网络没见过输出就会明显偏离这个偏差的二范数就是 RND-OE 分数。直接在策略嵌入空间工作带来两个好处。其一策略的观测编码器是端到端跟策略一起训练的它天然会把与任务无关的纹理、光照变化过滤掉因此在这里检测到的异常比在原始像素上检测到的更贴近策略真正在意的东西论文也指出直接在原始图像上做分布外检测在真机任务上误报率会明显偏高。其二因为复用了预训练好的特征提取器RND 只需很小的数据集就能训好这一点对真机场景尤其重要——成功 rollout 的采集成本远低于失败 rollout。图 2RND-OE 在策略的观测嵌入空间工作目标网络随机初始化后冻结预测网络只在成功 ID 数据上训练。对训练分布内的观测两者输出接近对偏离成功分布的新观测则产生大偏差——因而分数直接反映策略看到的东西是否还像成功时。动作侧ACE动作块熵。观测只能说明当前看到的对不对而系统未来的演化最终由策略生成并执行的动作决定。这里论文指出了一个容易被忽略的事实在模仿学习里专家示范经常是多模态的——机器人可以先抓 A、B 或者 C可以从侧面抓也可以从上面抓可以绕左边也可以绕右边。这种多模态体现在熵上而不是方差上。如果直接用动作之间的方差来度量不确定性就会把多模态但每个模态都很尖锐的情况策略其实很确定误判成高不确定。因此论文用熵来刻画条件动作分布的众数尖锐度但要直接估计 $H$ 维动作块联合分布的熵样本量会随 $H$ 指数增长远超常见 GPU 的并行能力。ACE 的做法是把预测的各个时间步分开处理对每个策略步采样 $B$ 条动作块按维度分箱后逐步求熵再求和。这样既把维度问题拆掉了又保留了策略在每一步是否犹豫的信息。此外ACE 是在末端执行器的笛卡尔位置空间里计算的任何操作任务都可以通过正运动学把关节量换算过去这样得到的分数既便宜又对应到任务真正发生的那三维空间。配置与训练。论文刻意为不同任务选了不同的生成式建模方式以检验方法的通用性。Sorting 与 Stacking 使用流匹配加 ACT 的 transformer 骨干动作块长度 $H$ 为 8、每次执行 4 步PushT、Pretzel 与 PushChair 使用扩散模型加时序 U-Net块长 16、执行 8 步或 4 步。所有任务的图像编码器统一使用 ResNet-18。RND-OE 的预测网络是 6 层 MLP、目标网络 4 层训练 250 个 epochbatch size 为 256优化器用 AdamW 配 cosine 学习率调度学习率为 $1 \times 10^{-4}$权重衰减 $1 \times 10^{-5}$。校准。两条分数的阈值都用共形预测来定并且只用成功的 rollout。论文考察了三种阈值定义把整条 rollout 上的最大分数作为非一致性度量的CP constant用函数型数据的共形预测构造的时变区间CP band以及直接按逐个时间步的分数分位数算出的时变阈值。三者的取舍很清晰CP 型阈值按构造给误报概率一个上界因此更保守、报警更晚时变阈值更敏感能更早预警但误报更多。实验设计与结果评测覆盖三个仿真任务和两个真机任务。Sorting 要求 Franka 把两个方块推进颜色匹配的盒子Stacking 要求把三个方块叠到目标区域PushT 要求把平面的 T 形物推到目标位姿真机方面Pretzel 要求把绳子折成蝴蝶结PushChair 要求移动机械臂把椅子推到桌子下面。分布外场景通过改变方块尺寸、目标区域位置、T 形物的尺寸与比例、绳子的初始位置与绕轴旋转、以及椅子的初始位姿来构造。需要说明的是任务的难度分布。同分布条件下成功率从 Sorting 的 0.89 一路降到 PushT 的 0.40引入分布外变化之后进一步降到 0.57、0.36 和 0.29两个真机任务的同分布成功率分别是 0.5 和 0.67。特别有意思的是 Pretzel 里的一种失效绕绳子自身轴线的旋转会改变各向异性绳材的弯曲行为而这一点从初始图像里根本看不出来必须等机器人把一端放到桌上、绳子自己弹回去才在多个时间步之后暴露。这正好是观测侧先动、动作侧随后确认这一双信号设计最擅长的场景。评测协议方面仿真环境使用 50 条成功 rollout真机任务使用 10 条这些数据同时用于训练 RND-OE 和校准阈值校准分位数 $1-\delta$ 从 0.90 到 0.99 全部取平均避免挑选一个对某个方法特别有利的分位数所有结果报告五个随机种子的均值和标准差。指标除了常规的 TPR、TNR、平衡准确率和归一化检测时间 DT论文还提出了TWA时序加权准确率它把正确检出的失败按提前量给分越早发现得分越高从而在单个标量里同时衡量准和早这两个目标。图 3三个仿真任务的成功与失败 rollout 示例。OOD 通过改变方块尺寸、目标区域位置、T 形物尺寸与比例等引入Stacking 考察简化的 Stacking-1 子任务以保证引入 OOD 后仍有足够成功率来评估失效预测。图 4两个真机任务。PretzelFranka 把绳子折成蝴蝶结OOD 来自绳子初态平移与绕轴旋转——后者改变弯曲行为且无法从初始图像察觉只有放置一端后才暴露。PushChair移动机械臂把椅子推到桌下失败多因未推在靠背中心导致椅子大幅旋转。图 5a–c在模仿学习的多模态示范里不确定性体现在熵而不是方差多模态但每模都尖锐c与单模态a同样是低不确定而分不开模b才是高不确定。dACE 按逐预测步的熵设计因此不会像 STAC 那样把切换行为模式的时刻误判为高不确定。主结果如下表指标是 TWA越高越好数值为五个随机种子的均值任务PCA-kmeanslogpZOSTACFIPER本文Sorting0.490.540.460.54Stacking0.660.580.590.62PushT0.530.520.580.55Pretzel0.640.580.510.68PushChair0.500.780.730.83平均0.570.600.570.65FIPER 在 Sorting、Pretzel 和 PushChair 上取得最好或并列最好的成绩平均 TWA 为 0.65。对应的平均准确率是 0.78最强基线 logpZO 为 0.69平均 TPR 达到 0.92而平均检测时间仍然只有 0.30。真机任务上的优势尤其明显PushChair 上 FIPER 的 TWA 是 0.83、准确率 0.96而该任务上最强的基线 logpZO 只有 0.78 和 0.92。论文还把两个分量单独拉出来做了对比看每个模块各自的贡献任务RND-ARND-OE本文ACE本文FIPER合取Sorting0.550.520.540.54Stacking0.500.620.620.62PushT0.520.540.560.55Pretzel0.510.550.750.68PushChair0.710.740.690.83平均0.560.590.630.65结论是两者互补RND-OE 的可解释性与检测速度最好平均检测时间只有 0.18是所有方法里最快的ACE 的判别力最好在 Pretzel 上拿到最高的 TWA 0.75在动作多模态很强的任务上能预测 76% 到 99% 的失败而 STAC 在同类任务上的 TPR 甚至不到 0.5。合取之后平均 TWA 达到 0.65是全部配置里最高的。图 6各不确定性分数在四类 rolloutSuccess ID / Success OOD / Fail ID / Fail OOD上的分布均按对应的共形阈值归一化。失效预测的关键在于把 Success OOD 与 Fail ID 分开RND-OE 与 ACE 的这两个均值间距明显大于其对照方法。图 7滑窗长度 $w$ 对三种阈值类型的影响跨 5 个种子取均值误差棒为标准差。$w$ 取 1只看当前步准确率偏低增大窗口提升准确率但普遍推迟检测。最优 $w$ 随方法与阈值类型变化显著因此主表按跨任务 TWA 最高为每个方法各自选取 $w$。论文专门比较了三种聚合方式。把历史分数一直累加这种做法看起来有效但论文的分析指出它主要识别的是失败的 rollout 通常更长这一事实因此报警时间明显偏晚只取当前时间步则相反TNR 很低、几乎把所有成功 rollout 都标成失败。滑动窗口是两者之间的正确折中它让方法真正具备提前预告的能力。阈值类型的消融结果也很实用。CP constant 阈值把 TNR 做到了 0.87误报最少但报警最晚时变阈值 TWA 最高达到 0.65。论文据此给出一个操作性很强的定位CP 型阈值更适合做失效检测时变阈值更适合做失效预测到底选哪种取决于具体应用是更怕漏报还是更怕误报——比如手术辅助和协同装配线上宁可多几次误报也要尽早预警而在物流场景里一次错误报警可能意味着人工复核成本反而更适合保守的阈值。图 8三种阈值类型的直接对比跨 5 个种子取均值。CP band 与 CP constant 的阈值更高因而 TNR 很高但报警明显更晚时变阈值在 TWA 上整体最好。这与CP 型更适合检测、时变型更适合预测的定位一致。图 9校准分位数 $1-\delta$ 的影响窗口固定 $w15$。提高 $1-\delta$ 会让预测更保守TPR 下降、TNR 上升二者在准确率与 TWA 上大体抵消——因此本文不挑单一分位数而是在 ${0.90, 0.91, \dots, 0.99}$ 上取平均。结果对比总结图 12结果对比总结Mermaid 流程图纯 OOD 基线的 TNR 只有 0.24 到 0.45STAC 在多模态任务上 TPR 不到 0.5两条线索都汇入「双信号合取」最终得到平均准确率 0.78、TWA 0.65、检测时间 0.30、TPR 0.92。关键发现双信号合取是低误报的关键。改成逻辑析取时 TPR 接近 1.0但平均 TNR 只有 0.18 到 0.43合取把 TNR 拉回 0.65同时 TPR 仍保持 0.92平均 TWA 从 0.59 提升到 0.65。两个模块的强项互补。RND-OE 单用检测时间仅 0.18为全场最快ACE 单用在 Pretzel 上 TWA 达 0.75、平均准确率 0.74在强多模态任务上召回 76% 到 99% 的失败。滑动窗口优于累积分数。累积分数在成功与失败 rollout 时长差异大的任务上表现更好但那是识别到了更长的 rollout而不是提前预测滑窗才能给出真正有提前量的预警。在真机上优势更明显。PushChair 任务 FIPER 准确率 0.96、TWA 0.83Pretzel 准确率 0.85均明显超过所有基线。零失败数据是可行的。全部结果只依赖 50 条仿真与 10 条真机成功 rollout验证了把失效预测重述为可校准异常检测这一思路的有效性。代价可控。把全部任务、窗口长度与分位数组合跑一遍单个随机种子在一张 RTX 4090 上约需 1 小时。局限性论文本身对局限的讨论相当坦诚同时在最需要压性能的附录里列出了几条更细的问题准确率仍不够用。最佳 TWA 对应的准确率只有 78%对于漏报代价极高、误报又需要人工复核的装配线场景仍然偏低。作者建议增加校准 rollout 的数量或者复用策略自己的训练数据。历史信息利用不足。历史只通过滑动窗口进入分数聚合没有进入分数本身的计算。作者推测过去的观测与动作预测里可能含有更早的预警信号这仍是开放问题。RND-OE 需要单独训练。虽然比深度集成和 MC Dropout 省数据得多仍然需要额外采集成功 rollout 并训练一个与策略解耦的模型。时变阈值有隐含假设。它假定成功 rollout 的时序模式基本一致如果策略第二次尝试才成功、导致时间轴整体平移或者某些时间步在校准集中出现次数不足时变阈值就会失效此时常量阈值可能更合适。数据固有随机性会压低召回。如果示范数据本身方差很大生成动作的分布自然弥散阈值就被抬高TPR 随之下降。如何把 aleatoric 与 epistemic 不确定性解耦作者认为仍是有价值的研究方向。仅验证了单任务视觉策略。论文只在基于视觉的单任务模仿学习策略上做了实验扩展到语言、触觉、听觉等额外模态目前仍是未经检验的假设。常见问题FAQFIPER 真的完全不需要任何失败数据吗是的训练与校准只使用成功的rolloutRND-OE 在成功数据上训练两条分数的阈值也用成功数据做共形预测校准。但要注意不需要失败数据不等于不需要数据——仿真任务需要 50 条、真机任务需要 10 条成功 rollout这是它相对纯无监督方法的一个前提条件。为什么不能只用分布外检测来判断失败因为生成式策略本身具备一定的泛化能力遇到训练分布之外的新场景未必会失败。纯分布外检测会把这类能应付的新情况一并判成异常造成大量误报。论文中 PCA-kmeans 基线的 TNR 只有 0.24就是把大多数 rollout 都标成失败的直接后果。FIPER 的解法是要求动作侧同时给出高不确定性——策略看到了陌生东西并且确实不知道怎么做才算真失效。为什么要用熵而不是动作方差来衡量不确定性因为模仿学习里的动作多模态是离散的抓 A 还是 B、从侧面还是上面、绕左还是绕右。这种情形的分布是多个尖锐的模态方差可能很大但策略其实非常确定。只有当一个模态本身就弥散、分不开的时候才意味着策略真的不确定。论文用一张示意图说明了这一点并指出 STAC 之所以在强多模态任务上 TPR 不到 0.5正是因为它会把切换行为模式的时刻误判成高不确定。共形预测在这里到底起了什么作用它把阈值定多少从拍脑袋的超参数变成一个有统计保证的构造。给定 $\delta$校准出的阈值保证新的成功同分布 rollout 被误判为失败的概率不超过 $\delta$这正是安全关键系统能够接纳这个模块的前提。不过论文也说明了这个保证只在同分布成功 rollout 上严格成立而实验是在包含分布外的数据上评估的因此实际误报率并不会精确等于 $\delta$。TWA 和普通准确率有什么区别普通准确率只看最终判定对不对一个拖到 episode 最后一刻才报警的方法也能拿到高准确率但那时已经无法介入。TWA 把正确检出的失败按提前量给分在第 $t$ 步正确预警、episode 总长 $T$就贡献 $1 - t/T$ 的分数越早越高。这样单个指标就同时编码了准和早两件事。这套方法能直接用到其他机器人任务上吗论文给出了两个前提一是任务失败要有明确定义存在最大 episode 长度和清晰目标例如运动控制可以用参考速度的容差来定义失败二是动作能够表示或变换到笛卡尔空间导航可以用底座位置四足可以按每只脚分别求熵再聚合。在这两个条件下作者认为方法可以迁移到导航和运动控制等其它任务扩展到大规模 VLA 与额外输入模态则是作者留待未来验证的方向。参考链接论文 arXiv 摘要页https://arxiv.org/abs/2510.09459项目主页代码、数据与视频https://tum-lsy.github.io/fiper_website随机网络蒸馏 RND 原始工作https://arxiv.org/abs/1810.12894Sentinel / STAC 基线工作同时提供 PushT 与 PushChair 数据https://arxiv.org/abs/2409.07645FAIL-Detect 基线工作https://arxiv.org/abs/2502.01983Diffusion Policy 骨干与观测编码器设计https://arxiv.org/abs/2303.04137共形预测入门综述https://arxiv.org/abs/2107.07511给大家推荐一款自用写文献综述、无虚构文献的 AI复旦大学 FudanNLP 团队自研 切问学术官网qiewenpaper.com覆盖3.6 亿篇可溯源真实中英文文献能自动整合文献观点生成规范综述还能挖掘研究创新点、复现实验配合视频教学新手快速上手文献综述写作后记博客的关键词集中在编程、算法、机器人、人工智能、数学等等持续高质量输出中。讨论QQ群白拾的小屋 (750365700)⭐B站账号白拾的物理AI组会活跃于知识区和动画区✨GitHub主页YhbCode000工程文件