Échantillon par étape, Optimiser par segment : GRPO au niveau des segments pour la génération texte-image

Sample By Step, Optimize By Chunk: Chunk-Level GRPO For Text-to-Image Generation

October 24, 2025

papers.authors: Yifu Luo, Penghui Du, Bo Li, Sinan Du, Tiantian Zhang, Yongzhe Chang, Kai Wu, Kun Gai, Xueqian Wang

cs.AI

papers.abstract

L'Optimisation Relative des Politiques par Groupe (GRPO) a démontré un fort potentiel pour la génération d'images à partir de texte (T2I) basée sur l'appariement de flux, mais elle se heurte à deux limitations principales : une attribution imprécise de l'avantage et la négligence de la dynamique temporelle de la génération. Dans ce travail, nous soutenons qu'un changement du paradigme d'optimisation du niveau de l'étape vers le niveau du segment peut efficacement atténuer ces problèmes. En s'appuyant sur cette idée, nous proposons Chunk-GRPO, la première approche basée sur la GRPO au niveau du segment pour la génération T2I. L'idée principale est de regrouper les étapes consécutives en « segments » cohérents qui capturent la dynamique temporelle intrinsèque de l'appariement de flux, et d'optimiser les politiques au niveau du segment. De plus, nous introduisons une stratégie optionnelle d'échantillonnage pondéré pour encore améliorer les performances. Des expériences approfondies montrent que Chunk-GRPO obtient des résultats supérieurs à la fois en termes d'alignement des préférences et de qualité d'image, soulignant la promesse de l'optimisation au niveau du segment pour les méthodes basées sur la GRPO.

English

Group Relative Policy Optimization (GRPO) has shown strong potential for flow-matching-based text-to-image (T2I) generation, but it faces two key limitations: inaccurate advantage attribution, and the neglect of temporal dynamics of generation. In this work, we argue that shifting the optimization paradigm from the step level to the chunk level can effectively alleviate these issues. Building on this idea, we propose Chunk-GRPO, the first chunk-level GRPO-based approach for T2I generation. The insight is to group consecutive steps into coherent 'chunk's that capture the intrinsic temporal dynamics of flow matching, and to optimize policies at the chunk level. In addition, we introduce an optional weighted sampling strategy to further enhance performance. Extensive experiments show that ChunkGRPO achieves superior results in both preference alignment and image quality, highlighting the promise of chunk-level optimization for GRPO-based methods.