TempFlow-GRPO: Cuando el tiempo es crucial para GRPO en modelos de flujo

TempFlow-GRPO: When Timing Matters for GRPO in Flow Models

August 6, 2025

Autores: Xiaoxuan He, Siming Fu, Yuke Zhao, Wanli Li, Jian Yang, Dacheng Yin, Fengyun Rao, Bo Zhang

cs.AI

Resumen

Los modelos recientes de emparejamiento de flujo para la generación de imágenes a partir de texto han logrado una calidad notable, pero su integración con el aprendizaje por refuerzo para la alineación con preferencias humanas sigue siendo subóptima, lo que dificulta la optimización basada en recompensas de grano fino. Observamos que el principal obstáculo para el entrenamiento efectivo de GRPO en modelos de flujo es la suposición de uniformidad temporal en los enfoques existentes: las recompensas terminales dispersas con asignación de crédito uniforme no logran capturar la criticidad variable de las decisiones a lo largo de los pasos de generación, lo que resulta en una exploración ineficiente y una convergencia subóptima. Para remediar esta deficiencia, presentamos TempFlow-GRPO (Temporal Flow GRPO), un marco de GRPO fundamentado que captura y explota la estructura temporal inherente en la generación basada en flujos. TempFlow-GRPO introduce dos innovaciones clave: (i) un mecanismo de bifurcación de trayectorias que proporciona recompensas de proceso al concentrar la estocasticidad en puntos de bifurcación designados, permitiendo una asignación de crédito precisa sin requerir modelos de recompensas intermedias especializados; y (ii) un esquema de ponderación consciente del ruido que modula la optimización de políticas según el potencial intrínseco de exploración de cada paso temporal, priorizando el aprendizaje durante las etapas iniciales de alto impacto mientras asegura un refinamiento estable en fases posteriores. Estas innovaciones dotan al modelo de una optimización temporalmente consciente que respeta la dinámica generativa subyacente, lo que conduce a un rendimiento de vanguardia en la alineación de preferencias humanas y en los puntos de referencia estándar de generación de imágenes a partir de texto.

English

Recent flow matching models for text-to-image generation have achieved remarkable quality, yet their integration with reinforcement learning for human preference alignment remains suboptimal, hindering fine-grained reward-based optimization. We observe that the key impediment to effective GRPO training of flow models is the temporal uniformity assumption in existing approaches: sparse terminal rewards with uniform credit assignment fail to capture the varying criticality of decisions across generation timesteps, resulting in inefficient exploration and suboptimal convergence. To remedy this shortcoming, we introduce TempFlow-GRPO (Temporal Flow GRPO), a principled GRPO framework that captures and exploits the temporal structure inherent in flow-based generation. TempFlow-GRPO introduces two key innovations: (i) a trajectory branching mechanism that provides process rewards by concentrating stochasticity at designated branching points, enabling precise credit assignment without requiring specialized intermediate reward models; and (ii) a noise-aware weighting scheme that modulates policy optimization according to the intrinsic exploration potential of each timestep, prioritizing learning during high-impact early stages while ensuring stable refinement in later phases. These innovations endow the model with temporally-aware optimization that respects the underlying generative dynamics, leading to state-of-the-art performance in human preference alignment and standard text-to-image benchmarks.