TempFlow-GRPO: Когда время имеет значение для GRPO в моделях потоков

TempFlow-GRPO: When Timing Matters for GRPO in Flow Models

August 6, 2025

Авторы: Xiaoxuan He, Siming Fu, Yuke Zhao, Wanli Li, Jian Yang, Dacheng Yin, Fengyun Rao, Bo Zhang

cs.AI

Аннотация

Недавние модели сопоставления потоков для генерации изображений по тексту достигли впечатляющего качества, однако их интеграция с обучением с подкреплением для согласования с человеческими предпочтениями остается неоптимальной, что затрудняет тонкую оптимизацию на основе вознаграждений. Мы наблюдаем, что ключевым препятствием для эффективного обучения GRPO (градиентной оптимизации на основе вознаграждений) моделей потоков является предположение о временной однородности в существующих подходах: редкие терминальные вознаграждения с равномерным распределением заслуг не учитывают различную критичность решений на разных этапах генерации, что приводит к неэффективному исследованию и субоптимальной сходимости. Чтобы устранить этот недостаток, мы представляем TempFlow-GRPO (Временной поток GRPO), принципиальную структуру GRPO, которая учитывает и использует временную структуру, присущую генерации на основе потоков. TempFlow-GRPO вводит два ключевых новшества: (i) механизм ветвления траекторий, который предоставляет процессные вознаграждения, концентрируя стохастичность в заданных точках ветвления, что позволяет точно распределять заслуги без необходимости в специализированных моделях промежуточных вознаграждений; и (ii) схему взвешивания, учитывающую шум, которая модулирует оптимизацию политики в соответствии с внутренним потенциалом исследования каждого временного шага, уделяя приоритет обучению на высокоэффективных ранних этапах, обеспечивая при этом стабильное уточнение на поздних фазах. Эти инновации наделяют модель временно-осознанной оптимизацией, которая учитывает базовые динамики генерации, что приводит к передовым результатам в согласовании с человеческими предпочтениями и стандартных тестах генерации изображений по тексту.

English

Recent flow matching models for text-to-image generation have achieved remarkable quality, yet their integration with reinforcement learning for human preference alignment remains suboptimal, hindering fine-grained reward-based optimization. We observe that the key impediment to effective GRPO training of flow models is the temporal uniformity assumption in existing approaches: sparse terminal rewards with uniform credit assignment fail to capture the varying criticality of decisions across generation timesteps, resulting in inefficient exploration and suboptimal convergence. To remedy this shortcoming, we introduce TempFlow-GRPO (Temporal Flow GRPO), a principled GRPO framework that captures and exploits the temporal structure inherent in flow-based generation. TempFlow-GRPO introduces two key innovations: (i) a trajectory branching mechanism that provides process rewards by concentrating stochasticity at designated branching points, enabling precise credit assignment without requiring specialized intermediate reward models; and (ii) a noise-aware weighting scheme that modulates policy optimization according to the intrinsic exploration potential of each timestep, prioritizing learning during high-impact early stages while ensuring stable refinement in later phases. These innovations endow the model with temporally-aware optimization that respects the underlying generative dynamics, leading to state-of-the-art performance in human preference alignment and standard text-to-image benchmarks.