Los modelos de generación de video son buenos modelos de recompensa latente.
Video Generation Models Are Good Latent Reward Models
November 26, 2025
Autores: Xiaoyue Mi, Wenqing Yu, Jiesong Lian, Shibo Jie, Ruizhe Zhong, Zijun Liu, Guozhen Zhang, Zixiang Zhou, Zhiyong Xu, Yuan Zhou, Qinglin Lu, Fan Tang
cs.AI
Resumen
El aprendizaje por retroalimentación de recompensas (ReFL) ha demostrado ser eficaz para alinear la generación de imágenes con las preferencias humanas. Sin embargo, su extensión a la generación de vídeo enfrenta desafíos significativos. Los modelos de recompensa de vídeo existentes se basan en modelos de visión y lenguaje diseñados para entradas en el espacio de píxeles, lo que confina la optimización ReFL a pasos de eliminación de ruido casi completos tras una costosa decodificación VAE. Este enfoque en el espacio de píxeles conlleva una sobrecarga sustancial de memoria y un mayor tiempo de entrenamiento, y su optimización en etapas tardías carece de supervisión en etapas tempranas, refinando solo la calidad visual en lugar de la dinámica motriz fundamental y la coherencia estructural. En este trabajo, demostramos que los modelos de generación de vídeo preentrenados son naturalmente adecuados para el modelado de recompensas en el espacio latente ruidoso, ya que están explícitamente diseñados para procesar representaciones latentes ruidosas en pasos temporales arbitrarios y preservan inherentemente la información temporal mediante sus capacidades de modelado secuencial. En consecuencia, proponemos el Aprendizaje por Retroalimentación de Recompensas del Proceso (PRFL), un marco que realiza la optimización de preferencias completamente en el espacio latente, permitiendo una retropropagación eficiente del gradiente a lo largo de toda la cadena de desruido sin decodificación VAE. Experimentos exhaustivos demuestran que PRFL mejora significativamente la alineación con las preferencias humanas, logrando al mismo tiempo reducciones sustanciales en el consumo de memoria y el tiempo de entrenamiento en comparación con ReFL en RGB.
English
Reward feedback learning (ReFL) has proven effective for aligning image generation with human preferences. However, its extension to video generation faces significant challenges. Existing video reward models rely on vision-language models designed for pixel-space inputs, confining ReFL optimization to near-complete denoising steps after computationally expensive VAE decoding. This pixel-space approach incurs substantial memory overhead and increased training time, and its late-stage optimization lacks early-stage supervision, refining only visual quality rather than fundamental motion dynamics and structural coherence. In this work, we show that pre-trained video generation models are naturally suited for reward modeling in the noisy latent space, as they are explicitly designed to process noisy latent representations at arbitrary timesteps and inherently preserve temporal information through their sequential modeling capabilities. Accordingly, we propose Process Reward Feedback Learning~(PRFL), a framework that conducts preference optimization entirely in latent space, enabling efficient gradient backpropagation throughout the full denoising chain without VAE decoding. Extensive experiments demonstrate that PRFL significantly improves alignment with human preferences, while achieving substantial reductions in memory consumption and training time compared to RGB ReFL.