TempFlow-GRPO: Quando o Tempo é Crucial para GRPO em Modelos de Fluxo

TempFlow-GRPO: When Timing Matters for GRPO in Flow Models

August 6, 2025

Autores: Xiaoxuan He, Siming Fu, Yuke Zhao, Wanli Li, Jian Yang, Dacheng Yin, Fengyun Rao, Bo Zhang

cs.AI

Resumo

Modelos recentes de correspondência de fluxo (flow matching) para geração de texto para imagem alcançaram qualidade notável, mas sua integração com aprendizado por reforço para alinhamento de preferências humanas permanece subótima, dificultando a otimização baseada em recompensas de granularidade fina. Observamos que o principal obstáculo ao treinamento eficaz de GRPO (Optimização de Política Baseada em Recompensas Graduais) em modelos de fluxo é a suposição de uniformidade temporal nas abordagens existentes: recompensas terminais esparsas com atribuição de crédito uniforme falham em capturar a criticidade variável das decisões ao longo das etapas de geração, resultando em exploração ineficiente e convergência subótima. Para remediar essa deficiência, introduzimos o TempFlow-GRPO (Temporal Flow GRPO), uma estrutura GRPO fundamentada que captura e explora a estrutura temporal inerente à geração baseada em fluxo. O TempFlow-GRPO apresenta duas inovações principais: (i) um mecanismo de ramificação de trajetórias que fornece recompensas de processo ao concentrar a estocasticidade em pontos de ramificação designados, permitindo atribuição de crédito precisa sem a necessidade de modelos especializados de recompensas intermediárias; e (ii) um esquema de ponderação consciente do ruído que modula a otimização da política de acordo com o potencial intrínseco de exploração de cada etapa temporal, priorizando o aprendizado durante os estágios iniciais de alto impacto enquanto garante refinamento estável nas fases posteriores. Essas inovações conferem ao modelo uma otimização temporalmente consciente que respeita a dinâmica gerativa subjacente, resultando em desempenho de ponta no alinhamento de preferências humanas e em benchmarks padrão de texto para imagem.

English

Recent flow matching models for text-to-image generation have achieved remarkable quality, yet their integration with reinforcement learning for human preference alignment remains suboptimal, hindering fine-grained reward-based optimization. We observe that the key impediment to effective GRPO training of flow models is the temporal uniformity assumption in existing approaches: sparse terminal rewards with uniform credit assignment fail to capture the varying criticality of decisions across generation timesteps, resulting in inefficient exploration and suboptimal convergence. To remedy this shortcoming, we introduce TempFlow-GRPO (Temporal Flow GRPO), a principled GRPO framework that captures and exploits the temporal structure inherent in flow-based generation. TempFlow-GRPO introduces two key innovations: (i) a trajectory branching mechanism that provides process rewards by concentrating stochasticity at designated branching points, enabling precise credit assignment without requiring specialized intermediate reward models; and (ii) a noise-aware weighting scheme that modulates policy optimization according to the intrinsic exploration potential of each timestep, prioritizing learning during high-impact early stages while ensuring stable refinement in later phases. These innovations endow the model with temporally-aware optimization that respects the underlying generative dynamics, leading to state-of-the-art performance in human preference alignment and standard text-to-image benchmarks.