Classifique-Então-Aja: Controle sem Recompensa a partir do Progresso na Ordem dos Quadros

Resumo

Apresentamos o Rank-Then-Act (RTA), uma estrutura para aprender políticas de controle a partir de demonstrações em vídeo de especialistas, sem recompensas do ambiente. O RTA treina um Modelo de Visão e Linguagem (VLM) offline como um classificador ordinal baseado em progresso, utilizando um objetivo de Otimização Relativa de Política em Grupo (GRPO) sobre sequências de quadros embaralhadas, o que força o modelo a recuperar a ordenação temporal a partir de semânticas visuais, e não de dicas temporais triviais. Importante, em vez de usar o classificador diretamente como um modelo de recompensa escalar, propomos uma função de recompensa baseada em correlação para aprendizado por reforço: a cada janela de interação, calculamos a correlação de postos de Spearman entre as classificações de progresso previstas e os índices temporais verdadeiros, gerando um sinal de aprendizado limitado e invariante à escala. Esse design desacopla o aprendizado de recompensas da calibração absoluta e possibilita uma transferência estável entre tarefas e ambientes. Avaliamos o RTA em benchmarks de controle discreto (PyBoy: Catrap, Kirby) e tarefas de controle contínuo (PointMaze, MetaWorld). O RTA consistentemente iguala ou supera métodos anteriores de aprendizado de recompensas baseados em vídeo e baselines baseados em classificação, demonstrando forte reutilização entre tarefas de um único classificador de progresso pré-treinado. Nossos resultados sugerem que a supervisão estruturada por correlação sobre sinais ordinais derivados de vídeo é suficiente para o aprendizado de políticas, oferecendo uma alternativa escalável ao design explícito de recompensas.

English

We introduce Rank-Then-Act (RTA), a framework for learning control policies from expert video demonstrations without environment rewards. RTA trains a Vision-Language Model (VLM) offline as a progress-based ordinal scorer, using a Group Relative Policy Optimization (GRPO) objective over shuffled frame sequences, which forces the model to recover temporal ordering from visual semantics rather than trivial time cues. Importantly, instead of using the scorer directly as a scalar reward model, we propose a correlation-based reward function for reinforcement learning: at each interaction window, we compute the Spearman rank correlation between predicted progress rankings and true temporal indices, yielding a bounded, scale-invariant learning signal. This design decouples reward learning from absolute calibration and enables stable transfer across tasks and environments. We evaluate RTA on discrete control benchmarks (PyBoy: Catrap, Kirby) and continuous control tasks (PointMaze, MetaWorld). RTA consistently matches or outperforms prior video-based reward learning methods and rank-based baselines, while demonstrating strong cross-task reuse of a single pretrained progress scorer. Our results suggest that correlation-structured supervision over video-derived ordinal signals is sufficient for policy learning, offering a scalable alternative to explicit reward design.