Les modèles de génération vidéo sont de bons modèles de récompense latente.
Video Generation Models Are Good Latent Reward Models
November 26, 2025
papers.authors: Xiaoyue Mi, Wenqing Yu, Jiesong Lian, Shibo Jie, Ruizhe Zhong, Zijun Liu, Guozhen Zhang, Zixiang Zhou, Zhiyong Xu, Yuan Zhou, Qinglin Lu, Fan Tang
cs.AI
papers.abstract
L'apprentissage par rétroaction de récompense (ReFL) s'est avéré efficace pour aligner la génération d'images sur les préférences humaines. Cependant, son extension à la génération vidéo se heurte à des défis significatifs. Les modèles de récompense vidéo existants s'appuient sur des modèles vision-langage conçus pour des entrées dans l'espace pixel, confinant l'optimisation ReFL aux étapes de dé-bruitage quasi-finales après un décodage VAE computationnellement coûteux. Cette approche dans l'espace pixel entraîne une surcharge mémoire substantielle et un temps d'entraînement accru, et son optimisation tardive manque de supervision aux stades précoces, affinant uniquement la qualité visuelle plutôt que la dynamique motrice fondamentale et la cohérence structurelle. Dans ce travail, nous montrons que les modèles de génération vidéo pré-entraînés sont naturellement adaptés pour la modélisation de récompense dans l'espace latent bruité, car ils sont explicitement conçus pour traiter des représentations latentes bruitées à des instants arbitraires et préservent intrinsèquement l'information temporelle grâce à leurs capacités de modélisation séquentielle. En conséquence, nous proposons l'Apprentissage par Rétroaction de Récompense sur le Processus (PRFL), un cadre qui réalise l'optimisation des préférences entièrement dans l'espace latent, permettant une rétropropagation efficace du gradient tout au long de la chaîne complète de dé-bruitage sans décodage VAE. Des expériences approfondies démontrent que le PRFL améliore significativement l'alignement avec les préférences humaines, tout en permettant des réductions substantielles de la consommation mémoire et du temps d'entraînement par rapport au ReFL RVB.
English
Reward feedback learning (ReFL) has proven effective for aligning image generation with human preferences. However, its extension to video generation faces significant challenges. Existing video reward models rely on vision-language models designed for pixel-space inputs, confining ReFL optimization to near-complete denoising steps after computationally expensive VAE decoding. This pixel-space approach incurs substantial memory overhead and increased training time, and its late-stage optimization lacks early-stage supervision, refining only visual quality rather than fundamental motion dynamics and structural coherence. In this work, we show that pre-trained video generation models are naturally suited for reward modeling in the noisy latent space, as they are explicitly designed to process noisy latent representations at arbitrary timesteps and inherently preserve temporal information through their sequential modeling capabilities. Accordingly, we propose Process Reward Feedback Learning~(PRFL), a framework that conducts preference optimization entirely in latent space, enabling efficient gradient backpropagation throughout the full denoising chain without VAE decoding. Extensive experiments demonstrate that PRFL significantly improves alignment with human preferences, while achieving substantial reductions in memory consumption and training time compared to RGB ReFL.