순위-후-행동: 프레임 순서 진행을 통한 보상 없는 제어

초록

우리는 Rank-Then-Act (RTA)를 소개한다. 이는 환경 보상 없이 전문가 비디오 시연으로부터 제어 정책을 학습하기 위한 프레임워크이다. RTA는 그룹 상대 정책 최적화(GRPO) 목적 함수를 사용하여 비전-언어 모델(VLM)을 오프라인에서 진행 기반 서수 점수기로 훈련시키며, 이때 셔플된 프레임 시퀀스에 대해 모델이 단순한 시간 신호가 아닌 시각적 의미론으로부터 시간적 순서를 복원하도록 강제한다. 중요한 점은, 점수기를 직접 스칼라 보상 모델로 사용하는 대신, 우리는 강화 학습을 위한 상관 기반 보상 함수를 제안한다: 각 상호작용 윈도우에서 예측된 진행 순위와 실제 시간 인덱스 간의 스피어만 순위 상관계수를 계산하여, 유계이고 스케일에 불변하는 학습 신호를 얻는다. 이 설계는 보상 학습을 절대적 보정으로부터 분리하며, 작업 및 환경 간 안정적인 전이를 가능하게 한다. 우리는 RTA를 이산 제어 벤치마크(PyBoy: Catrap, Kirby)와 연속 제어 작업(PointMaze, MetaWorld)에서 평가한다. RTA는 기존 비디오 기반 보상 학습 방법 및 순위 기반 기준선과 일치하거나 능가하는 성능을 지속적으로 보여주며, 단일 사전 훈련된 진행 점수기의 작업 간 재사용이 강력함을 입증한다. 우리의 결과는 비디오에서 파생된 순서 신호에 대한 상관 구조화된 감독이 정책 학습에 충분하며, 명시적 보상 설계에 대한 확장 가능한 대안을 제공함을 시사한다.

English

We introduce Rank-Then-Act (RTA), a framework for learning control policies from expert video demonstrations without environment rewards. RTA trains a Vision-Language Model (VLM) offline as a progress-based ordinal scorer, using a Group Relative Policy Optimization (GRPO) objective over shuffled frame sequences, which forces the model to recover temporal ordering from visual semantics rather than trivial time cues. Importantly, instead of using the scorer directly as a scalar reward model, we propose a correlation-based reward function for reinforcement learning: at each interaction window, we compute the Spearman rank correlation between predicted progress rankings and true temporal indices, yielding a bounded, scale-invariant learning signal. This design decouples reward learning from absolute calibration and enables stable transfer across tasks and environments. We evaluate RTA on discrete control benchmarks (PyBoy: Catrap, Kirby) and continuous control tasks (PointMaze, MetaWorld). RTA consistently matches or outperforms prior video-based reward learning methods and rank-based baselines, while demonstrating strong cross-task reuse of a single pretrained progress scorer. Our results suggest that correlation-structured supervision over video-derived ordinal signals is sufficient for policy learning, offering a scalable alternative to explicit reward design.