I modelli di generazione video sono ottimi modelli di ricompensa latente

Video Generation Models Are Good Latent Reward Models

November 26, 2025

Autori: Xiaoyue Mi, Wenqing Yu, Jiesong Lian, Shibo Jie, Ruizhe Zhong, Zijun Liu, Guozhen Zhang, Zixiang Zhou, Zhiyong Xu, Yuan Zhou, Qinglin Lu, Fan Tang

cs.AI

Abstract

L'apprendimento tramite feedback di ricompensa (ReFL) si è dimostrato efficace per allineare la generazione di immagini alle preferenze umane. Tuttavia, la sua estensione alla generazione video affronta sfide significative. I modelli di ricompensa video esistenti si basano su modelli visione-linguaggio progettati per input nello spazio dei pixel, confinando l'ottimizzazione ReFL a fasi di denoising quasi completate, dopo la costosa decodifica VAE. Questo approccio nello spazio dei pixel comporta un sovraccarico di memoria sostanziale e un aumento del tempo di addestramento, e la sua ottimizzazione in fase avanzata manca di supervisione nelle fasi iniziali, affinando solo la qualità visiva piuttosto che le dinamiche di movimento fondamentali e la coerenza strutturale. In questo lavoro, dimostriamo che i modelli pre-addestrati per la generazione video sono naturalmente adatti alla modellazione della ricompensa nello spazio latente rumoroso, poiché sono esplicitamente progettati per elaborare rappresentazioni latenti rumorose in step temporali arbitrari e preservano intrinsecamente le informazioni temporali attraverso le loro capacità di modellazione sequenziale. Di conseguenza, proponiamo l'Apprendimento tramite Feedback di Ricompensa sul Processo (PRFL), un framework che conduce l'ottimizzazione delle preferenze interamente nello spazio latente, consentendo una efficiente backpropagazione del gradiente lungo l'intera catena di denoising senza decodifica VAE. Esperimenti estensivi dimostrano che PRFL migliora significativamente l'allineamento con le preferenze umane, raggiungendo al contempo riduzioni sostanziali nel consumo di memoria e nel tempo di addestramento rispetto al ReFL RGB.

English

Reward feedback learning (ReFL) has proven effective for aligning image generation with human preferences. However, its extension to video generation faces significant challenges. Existing video reward models rely on vision-language models designed for pixel-space inputs, confining ReFL optimization to near-complete denoising steps after computationally expensive VAE decoding. This pixel-space approach incurs substantial memory overhead and increased training time, and its late-stage optimization lacks early-stage supervision, refining only visual quality rather than fundamental motion dynamics and structural coherence. In this work, we show that pre-trained video generation models are naturally suited for reward modeling in the noisy latent space, as they are explicitly designed to process noisy latent representations at arbitrary timesteps and inherently preserve temporal information through their sequential modeling capabilities. Accordingly, we propose Process Reward Feedback Learning~(PRFL), a framework that conducts preference optimization entirely in latent space, enabling efficient gradient backpropagation throughout the full denoising chain without VAE decoding. Extensive experiments demonstrate that PRFL significantly improves alignment with human preferences, while achieving substantial reductions in memory consumption and training time compared to RGB ReFL.