【多篇论文阅读】Real Time Chunking相关

RTChttps://arxiv.org/pdf/2506.07339一句话概括这篇论文提出了一种名为“实时分块”RTC的推理算法让机器人能在不等待模型计算完成的情况下平滑地执行下一个动作序列从而解决了大型模型推理延迟高导致的动作卡顿问题。核心内容解决问题大型VLA推理慢导致机器人执行动作时出现停顿或生硬的跳跃无法流畅应对动态任务。核心思想将动作生成过程看作“图像修复”inpainting。在执行当前动作块的同时提前生成下一个动作块。关键流程冻结将下一个动作块中因延迟而必然会被执行的前几步动作“冻结”固定为当前已规划好的值。修复基于冻结的动作和新的环境观测通过“软掩码”soft masking技术平滑地“修复”即生成后续的动作确保动作间的连续性。主要优势RTC是一个纯推理时inference-time的算法无需重新训练模型可直接应用于任何基于扩散或流匹配flow-based的策略。效果与价值RTC在模拟和真实世界的灵巧操作任务中如点燃火柴都表现出极强的延迟鲁棒性显著提升了任务完成速度和成功率。其主要局限是相比直接采样计算开销有所增加且目前仅适用于特定类型的生成模型。Training-time RTC一句话概括这篇论文提出了一种名为“训练时RTC”Training-time RTC的方法通过在训练阶段模拟推理延迟消除了机器人实时控制中推理阶段的计算开销。核心内容解决的问题现有的实时分块RTC技术在推理时通过“图像修复”inpainting来保证动作连贯性但这会带来额外的计算延迟违背了实时控制的初衷。核心方法将“图像修复”过程从推理阶段移至训练阶段。在训练时模型会随机模拟一个推理延迟ddd并将动作序列的前ddd步即动作前缀作为已知条件输入让模型只学习预测剩余的动作后缀。实现方式该方法无需修改模型架构仅需在训练时对损失函数进行掩码处理使其只计算动作后缀部分的误差。效果与价值该方法在保持与推理时RTC相同的任务成功率和运行速度的同时显著降低了计算成本。在模拟实验中当推理延迟较高时其性能甚至优于推理时RTC。其主要局限是灵活性稍差无法像推理时RTC那样“软性”地融合更多未来动作信息。