TempFlow-GRPO: Wenn Timing für GRPO in Flussmodellen entscheidend ist

TempFlow-GRPO: When Timing Matters for GRPO in Flow Models

August 6, 2025

papers.authors: Xiaoxuan He, Siming Fu, Yuke Zhao, Wanli Li, Jian Yang, Dacheng Yin, Fengyun Rao, Bo Zhang

cs.AI

papers.abstract

Aktuelle Flow-Matching-Modelle für die Text-zu-Bild-Generierung haben bemerkenswerte Qualität erreicht, doch ihre Integration mit Reinforcement Learning zur Ausrichtung an menschlichen Präferenzen bleibt suboptimal, was eine fein abgestimmte belohnungsbasierte Optimierung behindert. Wir beobachten, dass das Haupthindernis für ein effektives GRPO-Training von Flow-Modellen die Annahme der zeitlichen Gleichförmigkeit in bestehenden Ansätzen ist: spärliche Endbelohnungen mit gleichmäßiger Gutschriftzuweisung erfassen nicht die unterschiedliche Bedeutung von Entscheidungen über die Generierungszeitpunkte hinweg, was zu ineffizienter Exploration und suboptimaler Konvergenz führt. Um diesen Mangel zu beheben, führen wir TempFlow-GRPO (Temporal Flow GRPO) ein, ein prinzipielles GRPO-Framework, das die zeitliche Struktur in der Flow-basierten Generierung erfasst und nutzt. TempFlow-GRPO bringt zwei wesentliche Innovationen mit sich: (i) einen Trajektorienverzweigungsmechanismus, der Prozessbelohnungen bereitstellt, indem er die Stochastik an festgelegten Verzweigungspunkten konzentriert und so eine präzise Gutschriftzuweisung ohne spezialisierte Zwischenbelohnungsmodelle ermöglicht; und (ii) ein rauschbewusstes Gewichtungsschema, das die Politikoptimierung entsprechend des intrinsischen Explorationspotenzials jedes Zeitpunkts moduliert, wobei das Lernen in den einflussreichen frühen Phasen priorisiert wird, während eine stabile Verfeinerung in späteren Phasen sichergestellt wird. Diese Innovationen verleihen dem Modell eine zeitlich bewusste Optimierung, die den zugrunde liegenden generativen Dynamiken Rechnung trägt, was zu Spitzenleistungen in der Ausrichtung an menschlichen Präferenzen und in Standard-Text-zu-Bild-Benchmarks führt.

English

Recent flow matching models for text-to-image generation have achieved remarkable quality, yet their integration with reinforcement learning for human preference alignment remains suboptimal, hindering fine-grained reward-based optimization. We observe that the key impediment to effective GRPO training of flow models is the temporal uniformity assumption in existing approaches: sparse terminal rewards with uniform credit assignment fail to capture the varying criticality of decisions across generation timesteps, resulting in inefficient exploration and suboptimal convergence. To remedy this shortcoming, we introduce TempFlow-GRPO (Temporal Flow GRPO), a principled GRPO framework that captures and exploits the temporal structure inherent in flow-based generation. TempFlow-GRPO introduces two key innovations: (i) a trajectory branching mechanism that provides process rewards by concentrating stochasticity at designated branching points, enabling precise credit assignment without requiring specialized intermediate reward models; and (ii) a noise-aware weighting scheme that modulates policy optimization according to the intrinsic exploration potential of each timestep, prioritizing learning during high-impact early stages while ensuring stable refinement in later phases. These innovations endow the model with temporally-aware optimization that respects the underlying generative dynamics, leading to state-of-the-art performance in human preference alignment and standard text-to-image benchmarks.