Модели генерации видео являются хорошими латентными моделями вознаграждения

Аннотация

Обучение с подкреплением на основе вознаграждений (ReFL) доказало свою эффективность для согласования генерации изображений с человеческими предпочтениями. Однако его расширение на генерацию видео сталкивается со значительными трудностями. Существующие видео-модели вознаграждения полагаются на модели «визуальный язык», разработанные для входных данных в пиксельном пространстве, что ограничивает оптимизацию ReFL этапами, близкими к завершению денойзинга, после ресурсоемкого декодирования VAE. Этот подход в пиксельном пространстве влечет значительные накладные расходы по памяти и увеличивает время обучения, а его оптимизация на поздних стадиях лишена контроля на ранних этапах, улучшая лишь визуальное качество, а не фундаментальную динамику движения и структурную целостность. В данной работе мы показываем, что предобученные модели генерации видео естественным образом подходят для моделирования вознаграждения в зашумленном латентном пространстве, поскольку они явно предназначены для обработки зашумленных латентных представлений на произвольных временных шагах и inherently сохраняют временную информацию благодаря своим возможностям последовательного моделирования. Соответственно, мы предлагаем Process Reward Feedback Learning (PRFL) — фреймворк, который полностью проводит оптимизацию по предпочтениям в латентном пространстве, обеспечивая эффективное обратное распространение градиента по всей цепочке денойзинга без декодирования VAE. Многочисленные эксперименты демонстрируют, что PRFL значительно улучшает соответствие человеческим предпочтениям, одновременно достигая существенного сокращения потребления памяти и времени обучения по сравнению с RGB ReFL.

English

Reward feedback learning (ReFL) has proven effective for aligning image generation with human preferences. However, its extension to video generation faces significant challenges. Existing video reward models rely on vision-language models designed for pixel-space inputs, confining ReFL optimization to near-complete denoising steps after computationally expensive VAE decoding. This pixel-space approach incurs substantial memory overhead and increased training time, and its late-stage optimization lacks early-stage supervision, refining only visual quality rather than fundamental motion dynamics and structural coherence. In this work, we show that pre-trained video generation models are naturally suited for reward modeling in the noisy latent space, as they are explicitly designed to process noisy latent representations at arbitrary timesteps and inherently preserve temporal information through their sequential modeling capabilities. Accordingly, we propose Process Reward Feedback Learning~(PRFL), a framework that conducts preference optimization entirely in latent space, enabling efficient gradient backpropagation throughout the full denoising chain without VAE decoding. Extensive experiments demonstrate that PRFL significantly improves alignment with human preferences, while achieving substantial reductions in memory consumption and training time compared to RGB ReFL.

Модели генерации видео являются хорошими латентными моделями вознаграждения

Video Generation Models Are Good Latent Reward Models

Аннотация

Support