RLVR-World: Training von Weltmodellen mit Reinforcement Learning

RLVR-World: Training World Models with Reinforcement Learning

May 20, 2025

Autoren: Jialong Wu, Shaofeng Yin, Ningya Feng, Mingsheng Long

cs.AI

Zusammenfassung

Weltmodelle prognostizieren Zustandsübergänge als Reaktion auf Aktionen und werden zunehmend in verschiedenen Modalitäten entwickelt. Standardtrainingsziele wie die Maximum-Likelihood-Schätzung (MLE) stehen jedoch oft im Widerspruch zu den aufgabenbezogenen Zielen von Weltmodellen, wie z.B. Metriken für Übergangsprognosen wie Genauigkeit oder wahrgenommene Qualität. In diesem Artikel stellen wir RLVR-World vor, ein einheitliches Framework, das Verstärkungslernen mit verifizierbaren Belohnungen (RLVR) nutzt, um Weltmodelle direkt für solche Metriken zu optimieren. Obwohl die Modellierung von Weltmodellen als autoregressive Vorhersage von tokenisierten Sequenzen formuliert wird, bewertet RLVR-World Metriken der dekodierten Vorhersagen als verifizierbare Belohnungen. Wir zeigen erhebliche Leistungssteigerungen bei sprach- und videobasierten Weltmodellen in verschiedenen Bereichen, einschließlich Textspielen, Webnavigation und Robotersteuerung. Unsere Arbeit zeigt, dass RLVR über die jüngsten Fortschritte bei Reasoning-Sprachmodellen hinaus ein vielversprechendes Post-Training-Paradigma bietet, um den Nutzen von generativen Modellen insgesamt zu verbessern.

English

World models predict state transitions in response to actions and are increasingly developed across diverse modalities. However, standard training objectives such as maximum likelihood estimation (MLE) often misalign with task-specific goals of world models, i.e., transition prediction metrics like accuracy or perceptual quality. In this paper, we present RLVR-World, a unified framework that leverages reinforcement learning with verifiable rewards (RLVR) to directly optimize world models for such metrics. Despite formulating world modeling as autoregressive prediction of tokenized sequences, RLVR-World evaluates metrics of decoded predictions as verifiable rewards. We demonstrate substantial performance gains on both language- and video-based world models across domains, including text games, web navigation, and robot manipulation. Our work indicates that, beyond recent advances in reasoning language models, RLVR offers a promising post-training paradigm for enhancing the utility of generative models more broadly.