RLVR-World: Treinando Modelos de Mundo com Aprendizado por Reforço

RLVR-World: Training World Models with Reinforcement Learning

May 20, 2025

Autores: Jialong Wu, Shaofeng Yin, Ningya Feng, Mingsheng Long

cs.AI

Resumo

Modelos de mundo preveem transições de estado em resposta a ações e estão sendo cada vez mais desenvolvidos em diversas modalidades. No entanto, objetivos de treinamento padrão, como a estimativa de máxima verossimilhança (MLE), frequentemente se desalinham com metas específicas de tarefas dos modelos de mundo, ou seja, métricas de previsão de transição como precisão ou qualidade perceptual. Neste artigo, apresentamos o RLVR-World, uma estrutura unificada que aproveita o aprendizado por reforço com recompensas verificáveis (RLVR) para otimizar diretamente modelos de mundo para tais métricas. Apesar de formular a modelagem de mundo como previsão autoregressiva de sequências tokenizadas, o RLVR-World avalia métricas de previsões decodificadas como recompensas verificáveis. Demonstramos ganhos substanciais de desempenho em modelos de mundo baseados em linguagem e vídeo em diversos domínios, incluindo jogos de texto, navegação na web e manipulação robótica. Nosso trabalho indica que, além dos avanços recentes em modelos de linguagem de raciocínio, o RLVR oferece um paradigma promissor de pós-treinamento para aprimorar a utilidade de modelos generativos de forma mais ampla.

English

World models predict state transitions in response to actions and are increasingly developed across diverse modalities. However, standard training objectives such as maximum likelihood estimation (MLE) often misalign with task-specific goals of world models, i.e., transition prediction metrics like accuracy or perceptual quality. In this paper, we present RLVR-World, a unified framework that leverages reinforcement learning with verifiable rewards (RLVR) to directly optimize world models for such metrics. Despite formulating world modeling as autoregressive prediction of tokenized sequences, RLVR-World evaluates metrics of decoded predictions as verifiable rewards. We demonstrate substantial performance gains on both language- and video-based world models across domains, including text games, web navigation, and robot manipulation. Our work indicates that, beyond recent advances in reasoning language models, RLVR offers a promising post-training paradigm for enhancing the utility of generative models more broadly.