Videogeneratiemodellen zijn goede latente beloningsmodellen
Video Generation Models Are Good Latent Reward Models
November 26, 2025
Auteurs: Xiaoyue Mi, Wenqing Yu, Jiesong Lian, Shibo Jie, Ruizhe Zhong, Zijun Liu, Guozhen Zhang, Zixiang Zhou, Zhiyong Xu, Yuan Zhou, Qinglin Lu, Fan Tang
cs.AI
Samenvatting
Reward feedback learning (ReFL) heeft zijn effectiviteit bewezen voor het afstemmen van beeldgeneratie op menselijke voorkeuren. De uitbreiding naar videogeneratie wordt echter met aanzienlijke uitdagingen geconfronteerd. Bestaande videobeloningsmodellen zijn afhankelijk van vision-language modellen die zijn ontworpen voor invoer in de pixelruimte, waardoor ReFL-optimalisatie beperkt blijft tot bijna-voltooide denoisestappen na rekenintensieve VAE-decodering. Deze aanpak in de pixelruimte veroorzaakt een aanzienlijke geheugenoverhead en langere trainingstijden, en door de late optimalisatie ontbreekt vroegtijdige supervisie; hierdoor wordt alleen de visuele kwaliteit verfijnd en niet de fundamentele bewegingsdynamiek en structurele samenhang. In dit werk tonen we aan dat vooraf getrainde videogeneratiemodellen van nature geschikt zijn voor beloningsmodellering in de ruisachtige latente ruimte, omdat ze expliciet zijn ontworpen om ruisachtige latente representaties op willekeurige tijdstappen te verwerken en inherent temporele informatie behouden via hun sequentiële modelleringscapaciteiten. Dienovereenkomstig stellen wij Process Reward Feedback Learning (PRFL) voor, een raamwerk dat voorkeursoptimalisatie volledig in de latente ruimte uitvoert, waardoor efficiënte gradient-backpropagatie door de volledige denoiseketen mogelijk is zonder VAE-decodering. Uitgebreide experimenten tonen aan dat PRFL de afstemming op menselijke voorkeuren aanzienlijk verbetert, terwijl het een substantiële vermindering van het geheugengebruik en de trainingstijd bereikt in vergelijking met RGB-ReFL.
English
Reward feedback learning (ReFL) has proven effective for aligning image generation with human preferences. However, its extension to video generation faces significant challenges. Existing video reward models rely on vision-language models designed for pixel-space inputs, confining ReFL optimization to near-complete denoising steps after computationally expensive VAE decoding. This pixel-space approach incurs substantial memory overhead and increased training time, and its late-stage optimization lacks early-stage supervision, refining only visual quality rather than fundamental motion dynamics and structural coherence. In this work, we show that pre-trained video generation models are naturally suited for reward modeling in the noisy latent space, as they are explicitly designed to process noisy latent representations at arbitrary timesteps and inherently preserve temporal information through their sequential modeling capabilities. Accordingly, we propose Process Reward Feedback Learning~(PRFL), a framework that conducts preference optimization entirely in latent space, enabling efficient gradient backpropagation throughout the full denoising chain without VAE decoding. Extensive experiments demonstrate that PRFL significantly improves alignment with human preferences, while achieving substantial reductions in memory consumption and training time compared to RGB ReFL.