Пошаговое сэмплирование, оптимизация по чанкам: GRPO на уровне чанков для генерации изображений по тексту
Sample By Step, Optimize By Chunk: Chunk-Level GRPO For Text-to-Image Generation
October 24, 2025
Авторы: Yifu Luo, Penghui Du, Bo Li, Sinan Du, Tiantian Zhang, Yongzhe Chang, Kai Wu, Kun Gai, Xueqian Wang
cs.AI
Аннотация
Групповая относительная оптимизация политик (GRPO) продемонстрировала значительный потенциал для задач генерации изображений по тексту (T2I) на основе согласования потоков, однако сталкивается с двумя ключевыми ограничениями: неточным атрибутированием преимущества и игнорированием временной динамики генерации. В данной работе мы утверждаем, что смещение парадигмы оптимизации с пошагового уровня на уровень фрагментов может эффективно смягчить эти проблемы. Основываясь на этой идее, мы предлагаем Chunk-GRPO — первый подход к генерации T2I на основе GRPO, работающий на уровне фрагментов. Ключевая идея заключается в группировке последовательных шагов в согласованные «фрагменты», которые отражают внутреннюю временную динамику согласования потоков, и в оптимизации политик на уровне этих фрагментов. Дополнительно мы вводим опциональную стратегию взвешенной выборки для дальнейшего повышения производительности. Многочисленные эксперименты показывают, что Chunk-GRPO достигает превосходных результатов как в согласовании с предпочтениями, так и в качестве изображений, что подчеркивает перспективность оптимизации на уровне фрагментов для методов на основе GRPO.
English
Group Relative Policy Optimization (GRPO) has shown strong potential for
flow-matching-based text-to-image (T2I) generation, but it faces two key
limitations: inaccurate advantage attribution, and the neglect of temporal
dynamics of generation. In this work, we argue that shifting the optimization
paradigm from the step level to the chunk level can effectively alleviate these
issues. Building on this idea, we propose Chunk-GRPO, the first chunk-level
GRPO-based approach for T2I generation. The insight is to group consecutive
steps into coherent 'chunk's that capture the intrinsic temporal dynamics of
flow matching, and to optimize policies at the chunk level. In addition, we
introduce an optional weighted sampling strategy to further enhance
performance. Extensive experiments show that ChunkGRPO achieves superior
results in both preference alignment and image quality, highlighting the
promise of chunk-level optimization for GRPO-based methods.