Ordnen-dann-Handeln: Belohnungsfreie Steuerung durch Fortschritt der Bildreihenfolge

Zusammenfassung

Wir stellen Rank-Then-Act (RTA) vor, ein Framework zum Erlernen von Steuerungspolitiken aus Experten-Videodemonstrationen ohne Umgebungsbelohnungen. RTA trainiert ein Vision-Language-Modell (VLM) offline als einen fortschrittsbasierten ordinalen Bewerter, wobei ein Group-Relative-Policy-Optimization (GRPO)-Ziel über gemischte Framesequenzen verwendet wird. Dies zwingt das Modell, die zeitliche Ordnung aus visuellen Semantiken statt trivialen Zeitmerkmalen zu rekonstruieren. Entscheidend ist, dass wir den Bewerter nicht direkt als skalares Belohnungsmodell nutzen, sondern eine korrelationsbasierte Belohnungsfunktion für das bestärkende Lernen vorschlagen: In jedem Interaktionsfenster berechnen wir die Spearman-Rangkorrelation zwischen vorhergesagten Fortschrittsrängen und wahren zeitlichen Indizes, was ein beschränktes, skalierungsinvariantes Lernsignal liefert. Dieses Design entkoppelt das Belohnungslernen von absoluter Kalibrierung und ermöglicht eine stabile Übertragung zwischen Aufgaben und Umgebungen. Wir bewerten RTA an diskreten Steuerungsbenchmarks (PyBoy: Catrap, Kirby) und kontinuierlichen Steuerungsaufgaben (PointMaze, MetaWorld). RTA erreicht konsistent mindestens die Leistung früherer videobasierter Belohnungslernmethoden und rangbasierter Basislinien und zeigt dabei eine starke Wiederverwendung eines einzelnen vortrainierten Fortschrittsbewerters über verschiedene Aufgaben hinweg. Unsere Ergebnisse deuten darauf hin, dass korrelationsstrukturierte Überwachung über videobasierte ordinalsignale ausreicht, um Politiken zu erlernen, und eine skalierbare Alternative zur expliziten Belohnungsgestaltung darstellt.

English

We introduce Rank-Then-Act (RTA), a framework for learning control policies from expert video demonstrations without environment rewards. RTA trains a Vision-Language Model (VLM) offline as a progress-based ordinal scorer, using a Group Relative Policy Optimization (GRPO) objective over shuffled frame sequences, which forces the model to recover temporal ordering from visual semantics rather than trivial time cues. Importantly, instead of using the scorer directly as a scalar reward model, we propose a correlation-based reward function for reinforcement learning: at each interaction window, we compute the Spearman rank correlation between predicted progress rankings and true temporal indices, yielding a bounded, scale-invariant learning signal. This design decouples reward learning from absolute calibration and enables stable transfer across tasks and environments. We evaluate RTA on discrete control benchmarks (PyBoy: Catrap, Kirby) and continuous control tasks (PointMaze, MetaWorld). RTA consistently matches or outperforms prior video-based reward learning methods and rank-based baselines, while demonstrating strong cross-task reuse of a single pretrained progress scorer. Our results suggest that correlation-structured supervision over video-derived ordinal signals is sufficient for policy learning, offering a scalable alternative to explicit reward design.