Videogenerationsmodelle sind gute latente Belohnungsmodelle
Video Generation Models Are Good Latent Reward Models
November 26, 2025
papers.authors: Xiaoyue Mi, Wenqing Yu, Jiesong Lian, Shibo Jie, Ruizhe Zhong, Zijun Liu, Guozhen Zhang, Zixiang Zhou, Zhiyong Xu, Yuan Zhou, Qinglin Lu, Fan Tang
cs.AI
papers.abstract
Reward-Feedback-Learning (ReFL) hat sich als wirksam erwiesen, um die Bildgenerierung mit menschlichen Präferenzen in Einklang zu bringen. Seine Erweiterung auf die Videogenerierung steht jedoch vor erheblichen Herausforderungen. Bestehende Video-Belohnungsmodelle stützen sich auf Vision-Language-Modelle, die für Pixelraum-Eingaben konzipiert sind, was die ReFL-Optimierung auf nahezu abgeschlossene Denoising-Schritte nach rechenintensiver VAE-Decodierung beschränkt. Dieser Pixelraum-Ansatz verursacht einen erheblichen Speichermehraufwand und erhöhte Trainingszeiten, und seine späte Optimierung bietet keine Frühphasen-Überwachung, sondern verfeinert lediglich die visuelle Qualität anstatt grundlegender Bewegungsdynamiken und struktureller Kohärenz. In dieser Arbeit zeigen wir, dass vortrainierte Videogenerierungsmodelle von Natur aus für die Belohnungsmodellierung im verrauschten latenten Raum geeignet sind, da sie explizit dafür ausgelegt sind, verrauschte latente Repräsentationen zu beliebigen Zeitpunkten zu verarbeiten und zeitliche Informationen inhärent durch ihre sequentielle Modellierungsfähigkeit bewahren. Dementsprechend schlagen wir Process Reward Feedback Learning (PRFL) vor, ein Framework, das Präferenzoptimierung vollständig im latenten Raum durchführt und eine effiziente Gradienten-Rückpropagation über die gesamte Denoising-Kette ohne VAE-Decodierung ermöglicht. Umfangreiche Experimente belegen, dass PRFL die Übereinstimmung mit menschlichen Präferenzen signifikant verbessert und gleichzeitig eine erhebliche Verringerung des Speicherverbrauchs und der Trainingszeit im Vergleich zu RGB-ReFL erreicht.
English
Reward feedback learning (ReFL) has proven effective for aligning image generation with human preferences. However, its extension to video generation faces significant challenges. Existing video reward models rely on vision-language models designed for pixel-space inputs, confining ReFL optimization to near-complete denoising steps after computationally expensive VAE decoding. This pixel-space approach incurs substantial memory overhead and increased training time, and its late-stage optimization lacks early-stage supervision, refining only visual quality rather than fundamental motion dynamics and structural coherence. In this work, we show that pre-trained video generation models are naturally suited for reward modeling in the noisy latent space, as they are explicitly designed to process noisy latent representations at arbitrary timesteps and inherently preserve temporal information through their sequential modeling capabilities. Accordingly, we propose Process Reward Feedback Learning~(PRFL), a framework that conducts preference optimization entirely in latent space, enabling efficient gradient backpropagation throughout the full denoising chain without VAE decoding. Extensive experiments demonstrate that PRFL significantly improves alignment with human preferences, while achieving substantial reductions in memory consumption and training time compared to RGB ReFL.