Manifold-bewusste Exploration für bestärkendes Lernen in der Videogenerierung

Zusammenfassung

Group Relative Policy Optimization (GRPO)-Methoden für die Videogenerierung, wie etwa FlowGRPO, sind nach wie vor weit weniger zuverlässig als ihre Gegenstücke für Sprachmodelle und Bilder. Diese Lücke entsteht, weil die Videogenerierung einen komplexen Lösungsraum aufweist und die für die Exploration verwendete ODE-zu-SDE-Konvertierung überschüssiges Rauschen einbringen kann, was die Qualität der Rollouts verringert und Belohnungsschätzungen unzuverlässiger macht, was die Nachtraining-Alignment destabilisiert. Um dieses Problem zu adressieren, betrachten wir das vortrainierte Modell als Definition einer gültigen Videodaten-Mannigfaltigkeit und formulieren das Kernproblem als Einschränkung der Exploration auf die Umgebung dieser Mannigfaltigkeit, um sicherzustellen, dass die Rollout-Qualität erhalten bleibt und Belohnungsschätzungen zuverlässig bleiben. Wir schlagen SAGE-GRPO (Stable Alignment via Exploration) vor, das Einschränkungen auf Mikro- und Makroebene anwendet. Auf der Mikroebene leiten wir eine präzise, mannigfaltigkeitsbewusste SDE mit einer logarithmischen Krümmungskorrektur ab und führen einen Gradientennorm-Equalizer ein, um das Sampling und die Updates über Zeitschritte hinweg zu stabilisieren. Auf der Makroebene verwenden wir eine duale Vertrauensregion mit einem periodisch beweglichen Anker und schrittweisen Beschränkungen, sodass die Vertrauensregion Checkpoints verfolgt, die näher an der Mannigfaltigkeit liegen, und eine langfristige Drift begrenzt. Wir evaluieren SAGE-GRPO auf HunyuanVideo1.5 unter Verwendung des ursprünglichen VideoAlign als Belohnungsmodell und beobachten konsistente Verbesserungen gegenüber bisherigen Methoden in VQ, MQ, TA und visuellen Metriken (CLIPScore, PickScore), was eine überlegene Leistung sowohl in der Belohnungsmaximierung als auch in der gesamten Videogüte demonstriert. Der Code und die visuelle Galerie sind verfügbar unter https://dungeonmassster.github.io/SAGE-GRPO-Page/.

English

Group Relative Policy Optimization (GRPO) methods for video generation like FlowGRPO remain far less reliable than their counterparts for language models and images. This gap arises because video generation has a complex solution space, and the ODE-to-SDE conversion used for exploration can inject excess noise, lowering rollout quality and making reward estimates less reliable, which destabilizes post-training alignment. To address this problem, we view the pre-trained model as defining a valid video data manifold and formulate the core problem as constraining exploration within the vicinity of this manifold, ensuring that rollout quality is preserved and reward estimates remain reliable. We propose SAGE-GRPO (Stable Alignment via Exploration), which applies constraints at both micro and macro levels. At the micro level, we derive a precise manifold-aware SDE with a logarithmic curvature correction and introduce a gradient norm equalizer to stabilize sampling and updates across timesteps. At the macro level, we use a dual trust region with a periodic moving anchor and stepwise constraints so that the trust region tracks checkpoints that are closer to the manifold and limits long-horizon drift. We evaluate SAGE-GRPO on HunyuanVideo1.5 using the original VideoAlign as the reward model and observe consistent gains over previous methods in VQ, MQ, TA, and visual metrics (CLIPScore, PickScore), demonstrating superior performance in both reward maximization and overall video quality. The code and visual gallery are available at https://dungeonmassster.github.io/SAGE-GRPO-Page/.

Manifold-bewusste Exploration für bestärkendes Lernen in der Videogenerierung

Manifold-Aware Exploration for Reinforcement Learning in Video Generation

Zusammenfassung

Support