RynnValue: 시간적 거리를 통한 로봇 가치 파운데이션 모델의 확장

초록

범용 보상 모델은 로봇 학습의 확장에 있어 점점 더 중요한 병목 지점이 되고 있으나, 대규모 이질적 코퍼스에서 가치 관련 능력을 학습하는 방법론은 아직 충분히 탐구되지 않았다. 기존 접근법들은 선호도나 정규화된 진행도와 같은 과업 내부 기준에 학습 신호를 연계하지만, 이러한 기준들 중 어느 것도 서로 다른 임보디먼트와 데이터 소스 간에 깔끔하게 전이되지 않는다. 본 논문에서는 로봇 조작을 위한 오픈소스 가치 파운데이션 모델인 RynnValue를 소개한다. RynnValue는 이러한 기준들을 시간적 거리(temporal distance), 즉 관측값에서 언어로 지정된 목표까지의 방향성 잔여 비용(cost-to-go)으로 대체한다. 시간적 거리 라벨은 타임스탬프에서 직접 도출할 수 있으므로, RynnValue는 선호도나 진행도 주석 없이도 7,000시간 이상, 약 300만 개의 지시어 조건부 클립으로 확장이 가능하다. 대규모에서 시간적 가치 학습의 신뢰성을 확보하기 위해, 무작위 시간 샘플링, 시간 순서 셔플링, 가치 격리 어텐션(value-isolation attention)을 결합하여 예측이 실패와 회귀에 둔감해지는 지름길 학습을 억제한다. 선호도 라벨 없이 학습된 RynnValue는 RBM-EVAL-OOD에서 평균 켄달의 타우_a 0.675를 달성하여 완전히 선호도로 학습된 최신 기법(0.655)을 능가하고, 진행도만 사용한 대비 모델(0.292)의 두 배 이상의 성능을 보인다. 또한 미지의 과업, 임보디먼트, 시점에 대해 제로샷 일반화를 달성한다. 전위 기반 shaping(potential-based shaping)을 통해 조밀한 보상으로 변환되었을 때, 실제 로봇 정책의 성공률은 온라인에서 52.5%에서 72.5%로, 오프라인에서 63.8%에서 82.5%로 향상된다. 이러한 결과는 시간적 거리가 범용 로봇 정책을 위한 확장 가능한 학습 신호이자 실용적인 보상 인터페이스임을 입증한다.

English

General-purpose reward models are increasingly the bottleneck for scaling robot learning, yet the recipe for learning value-related capabilities from large-scale heterogeneous corpora remains underexplored. Existing approaches tie supervision to task-internal anchors such as preferences or normalized progress, none of which transfer cleanly across embodiments and data sources. We introduce RynnValue, an open-source value foundation model for robotic manipulation that replaces these anchors with temporal distance, the directed cost-to-go from an observation to the language-specified goal. Because temporal-distance labels can be derived directly from timestamps, RynnValue scales to over 7,000 hours and roughly 3M instruction-conditioned clips without preference or progress annotations. To make temporal-value learning reliable at scale, we combine random temporal sampling, temporal-order shuffling, and value-isolation attention, suppressing shortcuts that would leave predictions insensitive to failures and regressions. Trained without preference labels, RynnValue attains an average Kendall's tau_a of 0.675 on RBM-EVAL-OOD, surpassing the fully preference-supervised state of the art (0.655) and more than doubling a progress-only counterpart (0.292), while generalizing zero-shot to unseen tasks, embodiments, and viewpoints. Converted into dense rewards via potential-based shaping, it raises real-world policy success from 52.5% to 72.5% online and from 63.8% to 82.5% offline. These results establish temporal distance as a scalable supervision target and practical reward interface for generalist robot policies.