Esplorazione Consapevole della Varietà per l'Apprendimento per Rinforzo nella Generazione Video
Manifold-Aware Exploration for Reinforcement Learning in Video Generation
March 23, 2026
Autori: Mingzhe Zheng, Weijie Kong, Yue Wu, Dengyang Jiang, Yue Ma, Xuanhua He, Bin Lin, Kaixiong Gong, Zhao Zhong, Liefeng Bo, Qifeng Chen, Harry Yang
cs.AI
Abstract
I metodi di Ottimizzazione delle Politiche Relative di Gruppo (GRPO) per la generazione video, come FlowGRPO, rimangono notevolmente meno affidabili rispetto alle loro controparti per modelli linguistici e immagini. Questo divario sorge perché la generazione video ha uno spazio delle soluzioni complesso, e la conversione da ODE a SDE utilizzata per l'esplorazione può iniettare rumore eccessivo, riducendo la qualità dei rollout e rendendo le stime della ricompensa meno affidabili, il che destabilizza l'allineamento post-addestramento. Per affrontare questo problema, consideriamo il modello pre-addestrato come definente una valida varietà dei dati video e formuliamo il problema centrale come il vincolare l'esplorazione all'interno delle vicinanze di questa varietà, garantendo che la qualità del rollout sia preservata e che le stime della ricompensa rimangano affidabili. Proponiamo SAGE-GRPO (Allineamento Stabile tramite Esplorazione), che applica vincoli sia a livello micro che macro. A livello micro, deriviamo una SDE precisa e consapevole della varietà con una correzione logaritmica della curvatura e introduciamo un equalizzatore della norma del gradiente per stabilizzare il campionamento e gli aggiornamenti attraverso i passi temporali. A livello macro, utilizziamo una regione di fiducia duale con un'ancora mobile periodica e vincoli passo-passo in modo che la regione di fiducia segua checkpoint più vicini alla varietà e limiti la deriva a lungo termine. Valutiamo SAGE-GRPO su HunyuanVideo1.5 utilizzando il VideoAlign originale come modello di ricompensa e osserviamo miglioramenti consistenti rispetto ai metodi precedenti nelle metriche VQ, MQ, TA e visive (CLIPScore, PickScore), dimostrando una performance superiore sia nella massimizzazione della ricompensa che nella qualità video complessiva. Il codice e la galleria visiva sono disponibili all'indirizzo https://dungeonmassster.github.io/SAGE-GRPO-Page/.
English
Group Relative Policy Optimization (GRPO) methods for video generation like FlowGRPO remain far less reliable than their counterparts for language models and images. This gap arises because video generation has a complex solution space, and the ODE-to-SDE conversion used for exploration can inject excess noise, lowering rollout quality and making reward estimates less reliable, which destabilizes post-training alignment. To address this problem, we view the pre-trained model as defining a valid video data manifold and formulate the core problem as constraining exploration within the vicinity of this manifold, ensuring that rollout quality is preserved and reward estimates remain reliable. We propose SAGE-GRPO (Stable Alignment via Exploration), which applies constraints at both micro and macro levels. At the micro level, we derive a precise manifold-aware SDE with a logarithmic curvature correction and introduce a gradient norm equalizer to stabilize sampling and updates across timesteps. At the macro level, we use a dual trust region with a periodic moving anchor and stepwise constraints so that the trust region tracks checkpoints that are closer to the manifold and limits long-horizon drift. We evaluate SAGE-GRPO on HunyuanVideo1.5 using the original VideoAlign as the reward model and observe consistent gains over previous methods in VQ, MQ, TA, and visual metrics (CLIPScore, PickScore), demonstrating superior performance in both reward maximization and overall video quality. The code and visual gallery are available at https://dungeonmassster.github.io/SAGE-GRPO-Page/.