RLVR-World: Обучение моделей мира с использованием обучения с подкреплением

RLVR-World: Training World Models with Reinforcement Learning

May 20, 2025

Авторы: Jialong Wu, Shaofeng Yin, Ningya Feng, Mingsheng Long

cs.AI

Аннотация

Модели мира предсказывают переходы состояний в ответ на действия и всё чаще разрабатываются для различных модальностей. Однако стандартные цели обучения, такие как метод максимального правдоподобия (MLE), часто не соответствуют задачам, специфичным для моделей мира, таким как метрики предсказания переходов, включая точность или перцептивное качество. В данной статье мы представляем RLVR-World, унифицированную структуру, которая использует обучение с подкреплением с верифицируемыми наградами (RLVR) для прямой оптимизации моделей мира по таким метрикам. Несмотря на формулировку моделирования мира как авторегрессивного предсказания токенизированных последовательностей, RLVR-World оценивает метрики декодированных предсказаний в качестве верифицируемых наград. Мы демонстрируем значительное улучшение производительности как для языковых, так и для видео-ориентированных моделей мира в различных областях, включая текстовые игры, веб-навигацию и манипуляции роботов. Наша работа показывает, что, помимо недавних достижений в языковых моделях с рассуждениями, RLVR предлагает перспективную парадигму пост-обучения для повышения полезности генеративных моделей в более широком смысле.

English

World models predict state transitions in response to actions and are increasingly developed across diverse modalities. However, standard training objectives such as maximum likelihood estimation (MLE) often misalign with task-specific goals of world models, i.e., transition prediction metrics like accuracy or perceptual quality. In this paper, we present RLVR-World, a unified framework that leverages reinforcement learning with verifiable rewards (RLVR) to directly optimize world models for such metrics. Despite formulating world modeling as autoregressive prediction of tokenized sequences, RLVR-World evaluates metrics of decoded predictions as verifiable rewards. We demonstrate substantial performance gains on both language- and video-based world models across domains, including text games, web navigation, and robot manipulation. Our work indicates that, beyond recent advances in reasoning language models, RLVR offers a promising post-training paradigm for enhancing the utility of generative models more broadly.