TempFlow-GRPO: 흐름 모델에서 GRPO에 타이밍이 중요한 경우

TempFlow-GRPO: When Timing Matters for GRPO in Flow Models

August 6, 2025

저자: Xiaoxuan He, Siming Fu, Yuke Zhao, Wanli Li, Jian Yang, Dacheng Yin, Fengyun Rao, Bo Zhang

cs.AI

초록

최근 텍스트-이미지 생성을 위한 플로우 매칭 모델들은 뛰어난 품질을 달성했으나, 인간 선호도 정렬을 위한 강화 학습과의 통합은 여전히 최적화되지 못해 세밀한 보상 기반 최적화를 방해하고 있습니다. 우리는 플로우 모델의 효과적인 GRPO(Generalized Reward Policy Optimization) 훈련에 있어 주요 장애 요인이 기존 접근법의 시간적 균일성 가정에 있음을 관찰했습니다: 균일한 신용 할당을 가진 희소한 최종 보상은 생성 타임스텝 간 결정의 다양한 중요성을 포착하지 못해 비효율적인 탐색과 차선의 수렴을 초래합니다. 이러한 단점을 해결하기 위해, 우리는 플로우 기반 생성에 내재된 시간적 구조를 포착하고 활용하는 원칙적인 GRPO 프레임워크인 TempFlow-GRPO(Temporal Flow GRPO)를 제안합니다. TempFlow-GRPO는 두 가지 주요 혁신을 도입합니다: (i) 지정된 분기 지점에서 확률성을 집중시켜 프로세스 보상을 제공하는 궤적 분기 메커니즘으로, 특수한 중간 보상 모델 없이도 정확한 신용 할당이 가능하며; (ii) 각 타임스텝의 내재적 탐색 잠재력에 따라 정책 최적화를 조절하는 노이즈 인식 가중치 기법으로, 초기 고영향 단계에서의 학습을 우선시하면서 후기 단계에서의 안정적인 정제를 보장합니다. 이러한 혁신들은 모델에 기본 생성 역학을 존중하는 시간적 인식 최적화를 부여하여, 인간 선호도 정렬 및 표준 텍스트-이미지 벤치마크에서 최첨단 성능을 달성하게 합니다.

English

Recent flow matching models for text-to-image generation have achieved remarkable quality, yet their integration with reinforcement learning for human preference alignment remains suboptimal, hindering fine-grained reward-based optimization. We observe that the key impediment to effective GRPO training of flow models is the temporal uniformity assumption in existing approaches: sparse terminal rewards with uniform credit assignment fail to capture the varying criticality of decisions across generation timesteps, resulting in inefficient exploration and suboptimal convergence. To remedy this shortcoming, we introduce TempFlow-GRPO (Temporal Flow GRPO), a principled GRPO framework that captures and exploits the temporal structure inherent in flow-based generation. TempFlow-GRPO introduces two key innovations: (i) a trajectory branching mechanism that provides process rewards by concentrating stochasticity at designated branching points, enabling precise credit assignment without requiring specialized intermediate reward models; and (ii) a noise-aware weighting scheme that modulates policy optimization according to the intrinsic exploration potential of each timestep, prioritizing learning during high-impact early stages while ensuring stable refinement in later phases. These innovations endow the model with temporally-aware optimization that respects the underlying generative dynamics, leading to state-of-the-art performance in human preference alignment and standard text-to-image benchmarks.