Exploración Consciente de la Variedad para el Aprendizaje por Refuerzo en la Generación de Vídeo
Manifold-Aware Exploration for Reinforcement Learning in Video Generation
March 23, 2026
Autores: Mingzhe Zheng, Weijie Kong, Yue Wu, Dengyang Jiang, Yue Ma, Xuanhua He, Bin Lin, Kaixiong Gong, Zhao Zhong, Liefeng Bo, Qifeng Chen, Harry Yang
cs.AI
Resumen
Los métodos de Optimización de Políticas Relativas a Grupos (GRPO) para generación de vídeo, como FlowGRPO, siguen siendo mucho menos fiables que sus homólogos para modelos de lenguaje e imágenes. Esta brecha surge porque la generación de vídeo tiene un espacio de soluciones complejo, y la conversión de EDO a EDE utilizada para la exploración puede inyectar un exceso de ruido, lo que reduce la calidad de los rollouts y hace que las estimaciones de recompensa sean menos fiables, desestabilizando así la alineación posterior al entrenamiento. Para abordar este problema, consideramos que el modelo preentrenado define una variedad de datos de vídeo válida y formulamos el problema central como la restricción de la exploración dentro de la vecindad de esta variedad, garantizando que se preserve la calidad de los rollouts y que las estimaciones de recompensa sigan siendo fiables. Proponemos SAGE-GRPO (Alineación Estable mediante Exploración), que aplica restricciones tanto a nivel micro como macro. A nivel micro, derivamos una EDE precisa consciente de la variedad con una corrección logarítmica de la curvatura e introducimos un ecualizador de norma de gradiente para estabilizar el muestreo y las actualizaciones a lo largo de los pasos de tiempo. A nivel macro, utilizamos una región de confianza dual con un ancla móvil periódica y restricciones paso a paso para que la región de confianza rastree puntos de control más cercanos a la variedad y limite la deriva a largo plazo. Evaluamos SAGE-GRPO en HunyuanVideo1.5 utilizando el VideoAlign original como modelo de recompensa y observamos ganancias consistentes sobre métodos anteriores en las métricas VQ, MQ, TA y visuales (CLIPScore, PickScore), lo que demuestra un rendimiento superior tanto en la maximización de recompensas como en la calidad general del vídeo. El código y la galería visual están disponibles en https://dungeonmassster.github.io/SAGE-GRPO-Page/.
English
Group Relative Policy Optimization (GRPO) methods for video generation like FlowGRPO remain far less reliable than their counterparts for language models and images. This gap arises because video generation has a complex solution space, and the ODE-to-SDE conversion used for exploration can inject excess noise, lowering rollout quality and making reward estimates less reliable, which destabilizes post-training alignment. To address this problem, we view the pre-trained model as defining a valid video data manifold and formulate the core problem as constraining exploration within the vicinity of this manifold, ensuring that rollout quality is preserved and reward estimates remain reliable. We propose SAGE-GRPO (Stable Alignment via Exploration), which applies constraints at both micro and macro levels. At the micro level, we derive a precise manifold-aware SDE with a logarithmic curvature correction and introduce a gradient norm equalizer to stabilize sampling and updates across timesteps. At the macro level, we use a dual trust region with a periodic moving anchor and stepwise constraints so that the trust region tracks checkpoints that are closer to the manifold and limits long-horizon drift. We evaluate SAGE-GRPO on HunyuanVideo1.5 using the original VideoAlign as the reward model and observe consistent gains over previous methods in VQ, MQ, TA, and visual metrics (CLIPScore, PickScore), demonstrating superior performance in both reward maximization and overall video quality. The code and visual gallery are available at https://dungeonmassster.github.io/SAGE-GRPO-Page/.