Exploração Consciente da Variedade para Aprendizagem por Reforço na Geração de Vídeo
Manifold-Aware Exploration for Reinforcement Learning in Video Generation
March 23, 2026
Autores: Mingzhe Zheng, Weijie Kong, Yue Wu, Dengyang Jiang, Yue Ma, Xuanhua He, Bin Lin, Kaixiong Gong, Zhao Zhong, Liefeng Bo, Qifeng Chen, Harry Yang
cs.AI
Resumo
Os métodos de Otimização de Política Relativa de Grupo (GRPO) para geração de vídeo, como o FlowGRPO, permanecem muito menos confiáveis do que os seus equivalentes para modelos de linguagem e imagens. Esta lacuna surge porque a geração de vídeo possui um espaço de soluções complexo, e a conversão ODE-para-SDE usada para exploração pode injetar ruído excessivo, reduzindo a qualidade dos *rollouts* e tornando as estimativas de recompensa menos confiáveis, o que desestabiliza o alinhamento pós-treinamento. Para resolver este problema, encaramos o modelo pré-treinado como a definição de uma variedade de dados de vídeo válida e formulamos o problema central como a restrição da exploração à vizinhança desta variedade, garantindo que a qualidade dos *rollouts* seja preservada e que as estimativas de recompensa permaneçam confiáveis. Propomos o SAGE-GRPO (Alinhamento Estável via Exploração), que aplica restrições a nível micro e macro. A nível micro, derivamos uma EDS precisa e consciente da variedade, com uma correção logarítmica de curvatura, e introduzimos um equalizador de norma de gradiente para estabilizar a amostragem e as atualizações ao longo dos passos de tempo. A nível macro, usamos uma região de confiança dupla com uma âncora móvel periódica e restrições passo a passo, de modo que a região de confiança acompanhe pontos de verificação mais próximos da variedade e limite o desvio de longo horizonte. Avaliamos o SAGE-GRPO no HunyuanVideo1.5 usando o VideoAlign original como modelo de recompensa e observamos ganhos consistentes em relação a métodos anteriores nas métricas VQ, MQ, TA e visuais (CLIPScore, PickScore), demonstrando um desempenho superior tanto na maximização de recompensa quanto na qualidade geral do vídeo. O código e a galeria visual estão disponíveis em https://dungeonmassster.github.io/SAGE-GRPO-Page/.
English
Group Relative Policy Optimization (GRPO) methods for video generation like FlowGRPO remain far less reliable than their counterparts for language models and images. This gap arises because video generation has a complex solution space, and the ODE-to-SDE conversion used for exploration can inject excess noise, lowering rollout quality and making reward estimates less reliable, which destabilizes post-training alignment. To address this problem, we view the pre-trained model as defining a valid video data manifold and formulate the core problem as constraining exploration within the vicinity of this manifold, ensuring that rollout quality is preserved and reward estimates remain reliable. We propose SAGE-GRPO (Stable Alignment via Exploration), which applies constraints at both micro and macro levels. At the micro level, we derive a precise manifold-aware SDE with a logarithmic curvature correction and introduce a gradient norm equalizer to stabilize sampling and updates across timesteps. At the macro level, we use a dual trust region with a periodic moving anchor and stepwise constraints so that the trust region tracks checkpoints that are closer to the manifold and limits long-horizon drift. We evaluate SAGE-GRPO on HunyuanVideo1.5 using the original VideoAlign as the reward model and observe consistent gains over previous methods in VQ, MQ, TA, and visual metrics (CLIPScore, PickScore), demonstrating superior performance in both reward maximization and overall video quality. The code and visual gallery are available at https://dungeonmassster.github.io/SAGE-GRPO-Page/.