Exploration Consciente de la Variété pour l'Apprentissage par Renforcement dans la Génération Vidéo

Résumé

Les méthodes d'optimisation de politique relative au groupe (GRPO) pour la génération vidéo, comme FlowGRPO, restent bien moins fiables que leurs équivalents pour les modèles de langage et les images. Cet écart provient du fait que la génération vidéo possède un espace de solutions complexe, et que la conversion ODE-vers-EDS utilisée pour l'exploration peut injecter un bruit excessif, réduisant la qualité des séquences générées et rendant les estimations de récompense moins fiables, ce qui déstabilise l'alignement post-entraînement. Pour résoudre ce problème, nous considérons le modèle pré-entraîné comme définissant une variété de données vidéo valide et formulons le problème central comme une contrainte de l'exploration à proximité de cette variété, garantissant ainsi la préservation de la qualité des séquences et la fiabilité des estimations de récompense. Nous proposons SAGE-GRPO (Alignement Stable par Exploration), qui applique des contraintes aux niveaux micro et macro. Au niveau micro, nous dérivons un EDS précis tenant compte de la variété avec une correction logarithmique de courbure et introduisons un égaliseur de norme de gradient pour stabiliser l'échantillonnage et les mises à jour sur les pas de temps. Au niveau macro, nous utilisons une double région de confiance avec une ancre mobile périodique et des contraintes pas à pas afin que la région de confiance suive des points de contrôle plus proches de la variété et limite la dérive à long terme. Nous évaluons SAGE-GRPO sur HunyuanVideo1.5 en utilisant le VideoAlign original comme modèle de récompense et observons des gains constants par rapport aux méthodes précédentes sur les métriques VQ, MQ, TA et visuelles (CLIPScore, PickScore), démontrant des performances supérieures à la fois en maximisation des récompenses et en qualité vidéo globale. Le code et la galerie visuelle sont disponibles à l'adresse https://dungeonmassster.github.io/SAGE-GRPO-Page/.

English

Group Relative Policy Optimization (GRPO) methods for video generation like FlowGRPO remain far less reliable than their counterparts for language models and images. This gap arises because video generation has a complex solution space, and the ODE-to-SDE conversion used for exploration can inject excess noise, lowering rollout quality and making reward estimates less reliable, which destabilizes post-training alignment. To address this problem, we view the pre-trained model as defining a valid video data manifold and formulate the core problem as constraining exploration within the vicinity of this manifold, ensuring that rollout quality is preserved and reward estimates remain reliable. We propose SAGE-GRPO (Stable Alignment via Exploration), which applies constraints at both micro and macro levels. At the micro level, we derive a precise manifold-aware SDE with a logarithmic curvature correction and introduce a gradient norm equalizer to stabilize sampling and updates across timesteps. At the macro level, we use a dual trust region with a periodic moving anchor and stepwise constraints so that the trust region tracks checkpoints that are closer to the manifold and limits long-horizon drift. We evaluate SAGE-GRPO on HunyuanVideo1.5 using the original VideoAlign as the reward model and observe consistent gains over previous methods in VQ, MQ, TA, and visual metrics (CLIPScore, PickScore), demonstrating superior performance in both reward maximization and overall video quality. The code and visual gallery are available at https://dungeonmassster.github.io/SAGE-GRPO-Page/.

Exploration Consciente de la Variété pour l'Apprentissage par Renforcement dans la Génération Vidéo

Manifold-Aware Exploration for Reinforcement Learning in Video Generation

Résumé

Support