順位付けて行動：フレーム順序進行による報酬なし制御

要旨

我々は、環境からの報酬を用いず、専門家による映像デモンストレーションから制御ポリシーを学習するフレームワーク「Rank-Then-Act（RTA）」を提案する。RTAは、ビジョン・ランゲージモデル（VLM）をオフラインで学習し、進捗に基づく順序スコアラとする。この学習には、シャッフルされたフレーム系列に対するGroup Relative Policy Optimization（GRPO）目的関数を用いる。これにより、モデルは単純な時間的手がかりではなく、視覚的意味内容から時間的順序を復元することを強いられる。重要な点として、このスコアラを直接スカラー報酬モデルとして使用するのではなく、強化学習のための相関ベースの報酬関数を提案する。各相互作用ウィンドウにおいて、予測された進捗ランキングと真の時間インデックスとの間のスピアマン順位相関を計算し、有界かつスケール不変な学習信号を得る。この設計により、報酬学習を絶対的なキャリブレーションから切り離し、タスクや環境を超えた安定した転移を可能にする。我々は、RTAを離散制御ベンチマーク（PyBoy: Catrap, Kirby）および連続制御タスク（PointMaze, MetaWorld）で評価した。RTAは、既存の映像ベース報酬学習手法やランクベースのベースラインに一貫して匹敵するか、それを上回る性能を示し、単一の事前学習済み進捗スコアラのタスク横断的な再利用における強力な能力を実証した。これらの結果は、映像由来の順序信号に対する相関構造化された教師信号がポリシー学習に十分であり、明示的な報酬設計に代わるスケーラブルな選択肢を提供することを示唆している。

English

We introduce Rank-Then-Act (RTA), a framework for learning control policies from expert video demonstrations without environment rewards. RTA trains a Vision-Language Model (VLM) offline as a progress-based ordinal scorer, using a Group Relative Policy Optimization (GRPO) objective over shuffled frame sequences, which forces the model to recover temporal ordering from visual semantics rather than trivial time cues. Importantly, instead of using the scorer directly as a scalar reward model, we propose a correlation-based reward function for reinforcement learning: at each interaction window, we compute the Spearman rank correlation between predicted progress rankings and true temporal indices, yielding a bounded, scale-invariant learning signal. This design decouples reward learning from absolute calibration and enables stable transfer across tasks and environments. We evaluate RTA on discrete control benchmarks (PyBoy: Catrap, Kirby) and continuous control tasks (PointMaze, MetaWorld). RTA consistently matches or outperforms prior video-based reward learning methods and rank-based baselines, while demonstrating strong cross-task reuse of a single pretrained progress scorer. Our results suggest that correlation-structured supervision over video-derived ordinal signals is sufficient for policy learning, offering a scalable alternative to explicit reward design.