Многообразие-ориентированное исследование для обучения с подкреплением в генерации видео

Аннотация

Методы групповой относительной оптимизации политики (Group Relative Policy Optimization, GRPO) для генерации видео, такие как FlowGRPO, остаются значительно менее надежными по сравнению с их аналогами для языковых моделей и изображений. Этот разрыв возникает из-за того, что генерация видео имеет сложное пространство решений, а преобразование ОДУ в СДУ, используемое для исследования, может вносить избыточный шум. Это снижает качество сгенерированных последовательностей и делает оценку вознаграждения менее достоверной, что дестабилизирует послетренировочную адаптацию. Чтобы решить эту проблему, мы рассматриваем предварительно обученную модель как задающую допустимое многообразие видеоданных и формулируем ключевую задачу как ограничение исследования в окрестности этого многообразия, что гарантирует сохранение качества rollout-ов и надежность оценок вознаграждения. Мы предлагаем метод SAGE-GRPO (Stable Alignment via Exploration), который применяет ограничения как на микро-, так и на макроуровне. На микроуровне мы выводим точное СДУ с учетом многообразия, включающее логарифмическую поправку на кривизну, и вводим уравнитель нормы градиента для стабилизации выборки и обновлений на разных временных шагах. На макроуровне мы используем двойной регион доверия с периодически перемещаемым якорем и пошаговыми ограничениями, так что регион доверия отслеживает контрольные точки, находящиеся ближе к многообразию, и ограничивает долгосрочный дрейф. Мы оцениваем SAGE-GRPO на модели HunyuanVideo1.5, используя оригинальный VideoAlign в качестве модели вознаграждения, и наблюдаем устойчивое улучшение по сравнению с предыдущими методами по метрикам VQ, MQ, TA и визуальным метрикам (CLIPScore, PickScore), что демонстрирует превосходную производительность как в максимизации вознаграждения, так и в общем качестве видео. Код и визуальная галерея доступны по адресу https://dungeonmassster.github.io/SAGE-GRPO-Page/.

English

Group Relative Policy Optimization (GRPO) methods for video generation like FlowGRPO remain far less reliable than their counterparts for language models and images. This gap arises because video generation has a complex solution space, and the ODE-to-SDE conversion used for exploration can inject excess noise, lowering rollout quality and making reward estimates less reliable, which destabilizes post-training alignment. To address this problem, we view the pre-trained model as defining a valid video data manifold and formulate the core problem as constraining exploration within the vicinity of this manifold, ensuring that rollout quality is preserved and reward estimates remain reliable. We propose SAGE-GRPO (Stable Alignment via Exploration), which applies constraints at both micro and macro levels. At the micro level, we derive a precise manifold-aware SDE with a logarithmic curvature correction and introduce a gradient norm equalizer to stabilize sampling and updates across timesteps. At the macro level, we use a dual trust region with a periodic moving anchor and stepwise constraints so that the trust region tracks checkpoints that are closer to the manifold and limits long-horizon drift. We evaluate SAGE-GRPO on HunyuanVideo1.5 using the original VideoAlign as the reward model and observe consistent gains over previous methods in VQ, MQ, TA, and visual metrics (CLIPScore, PickScore), demonstrating superior performance in both reward maximization and overall video quality. The code and visual gallery are available at https://dungeonmassster.github.io/SAGE-GRPO-Page/.

Многообразие-ориентированное исследование для обучения с подкреплением в генерации видео

Manifold-Aware Exploration for Reinforcement Learning in Video Generation

Аннотация

Support