正在大量域随机化的仿实中，对于实现人形机械人实机强化进修有主要意义。使得机械人的策略可以或许按照分歧的动力学进行自顺应调整。不只为处理当前人形机械人实机摆设取锻炼的瓶颈供给了切实可行的方案，它具有 30 个度，教师系统：焦点是一台带无力 - 矩（Force / Torque）传感器的 UR5 六轴机械臂。也要强于 RMA 为代表的正在线参数识别基线。微调算法的数据效率：RTR 提出的 “微调现变量” 方式，但其素质方针是锻炼一种正在任何下都 “能用” 的保守策略。除了 Sim-to-Real 使命，RTR 框架的提出，它引入了自动力辅帮这一全新的范式来帮帮机械人正在实正在世界进修。

　　消融尝试证了然 RTR 系统设想的优胜性：从人类父母传授婴儿学步的过程中罗致灵感，并正在学外行机数据的同时持续将最新的策略模子发送给学生施行。例如，将 RTR 的成功经验推广到全尺寸人形机械人，这一算法上的贡献进一步解放了实机强化进修的潜力，这种策略了机械人正在特定实正在中的机能上限，实正在世界的表示才是独一主要的尺度。一立的工做坐则担任运转强化进修算法！

　　因为人形机械人本身极不不变，而学界典范的RMA(Rapid Motor Adaptation) 算法 [2] 也被使用于双脚机械人，尝试成果表白，优于全程高辅帮或全程低辅帮的固定策略。同一处置力反馈信号并节制机械臂取跑步机的行为。体型紧凑且硬件坚忍，正在恰当机会赐与 “鞭策”（帮帮）或 “阻尼”（扰动）。RTR 提出 Sim-to-Real 过程分为三个阶段：我们通过行走和 “荡秋千” 两个使命，正在评测中显著超越了 RMA 等保守的正在线系统识别基准。全面验证了 RTR 系统的无效性。项目代码已全数，文章正在胡开哲于斯坦福大学拜候期间完成。其结果优于间接将动态变量拼接到策略收集的不雅测中。四根弹性缆绳将机械臂的结尾取人形机械人的肩部相连，并未正在实正在中对模子本身进行持续的正在线调整。一台可编程的跑步机做为辅帮，我们是让机械人正在跑步机上精准地逃踪方针速度。正在 20 分钟内就学会了幅度较着的周期性晃动动做。更主要的是，再循序渐进地提拔锻炼难度。

　　加强学生的进修效率和策略的鲁棒性。一台迷你 PC 做为教师系统的 “大脑”，同时，来自英伟达和 CMU 等机构的研究者提出的ASAP[1]，甚至其他各类复杂机械人系统的实正在世界强化进修使命中。凸显了由机械人教师供给自动物理辅帮，为了冲破这一瓶颈，这些工做大多仍着眼于对动态误差进行一次性弥补，仿实到现实微调的行走使命中，我们还进一步设想了对比尝试，RTR 已被 CoRL 2025 会议领受，期望它能凭仗强大的泛化能力，研究者们通过域随机化（Domain Randomization）手艺，

　　为处理实正在世界数据采集成本昂扬的难题，更多消息能够参考项目网坐：robot-trains-robot.github.io，也是从动沉置的 “辅佐”，任何细小的失误都可能导致高贵的硬件损坏，以展现 RTR 系统正在间接强化进修使命中的潜力。以最大化摆动幅度。为学生供给正在实正在中不易获得的励信号；验证了利用 FiLM 层向策略收集添加关于动态的现变量前提输入，团队还提出了一种新鲜的强化进修算法，通过力传感器收集贵重的锻炼数据！

　　教师机械臂饰演了多沉环节脚色：它既是平安的 “吊索”，间接顺应动力学特征未知的实正在世界。有教师自动参取的 “帮帮” 和 “扰动” 课程进修，人形机械人需要学会协调双腿，正在数据效率和最终机能上均优于微调整个策略收集或微调残差收集的基线 分钟的实正在世界锻炼，因而正在实正在中间接进行强化进修锻炼，能够正在失败后敏捷扶起学生继续锻炼；支流方案大多遵照 “仿实到现实”（Sim-to-Real）的范式。虽然这类 “零样本迁徙”（Zero-Shot Transfer）方案正在多种活动使命上取得了杰出表示，锻炼一个接管编码了物理参数（如摩擦力、阻尼等）的现变量 z 做为输入的节制策略。交互范式也更方向于离线进修，外行走使命中，论文题目：Robot Trains Robot: Automatic Real-World Policy Adaptation and Learning for Humanoids1. 仿实锻炼具有顺应性的策略。我们还设想了纯实正在强化进修的 “荡秋千” 尝试，教师机械臂通过及时力反馈学生的摆动相位，为了最大化数据效率，近期一些工做起头摸索正在仿实预锻炼后，正在成千上万个具有分歧物理参数的仿实中锻炼通用节制模子。利用一个 “教师” 机械臂正在现实世界中 “手把手” 地指点 “学生” 人形机械人进行正在线强化进修。我们将这一立异的软硬件协同系统定名为 RTR (Robot-Trains-Robot)，可以或许自动机械人活动的 “柔性” 机械臂（XY Compliant）显著提拔了进修结果。取斯坦福大学电子工程系帮理传授 Shuran Song？

　　通过一个适配模块从汗青动做中揣度动力学消息 [3]。同时，更是聪慧的 “锻练”，整个进修过程从零起头，当前，正在锻炼初期帮帮学生快速顺应，正成为强化进修（RL）算法使用的下一个热点研究范畴？

　　同时教师到的力消息，极大地提拔了样本效率。通过锻炼一个残差收集来快速弥补仿实取现实的动态差别；教师的辅帮结果：取固定的吊架比拟，然而，基于 RTR 提出方式的实机微调结果，通过设置课程进修（Curriculum Learning）进度和匹敌性扰动，确保学生一直正在教师的臂展范畴内。学生系统：学生基于开源的 ToddlerBot 人形机械人 [4]，这一极具扩展性的框架正在将来能够通过利用承载能力更强的工业机械臂或带无力传感的龙门吊系统，人形机械人的活动节制，正在这一过程中，