Muestra por Pasos, Optimiza por Fragmentos: GRPO a Nivel de Fragmento para la Generación de Imágenes a partir de Texto

Sample By Step, Optimize By Chunk: Chunk-Level GRPO For Text-to-Image Generation

October 24, 2025

Autores: Yifu Luo, Penghui Du, Bo Li, Sinan Du, Tiantian Zhang, Yongzhe Chang, Kai Wu, Kun Gai, Xueqian Wang

cs.AI

Resumen

La Optimización de Políticas Relativas a Grupos (GRPO) ha demostrado un gran potencial para la generación de imágenes a partir de texto (T2I) basada en flow matching, pero se enfrenta a dos limitaciones clave: la atribución imprecisa de ventajas y la desatención de la dinámica temporal de la generación. En este trabajo, sostenemos que cambiar el paradigma de optimización del nivel de paso al nivel de fragmento puede aliviar eficazmente estos problemas. Basándonos en esta idea, proponemos Chunk-GRPO, el primer enfoque basado en GRPO a nivel de fragmento para la generación T2I. La idea clave es agrupar pasos consecutivos en "fragmentos" coherentes que capturen la dinámica temporal intrínseca del flow matching y optimizar las políticas a nivel de fragmento. Además, introducimos una estrategia opcional de muestreo ponderado para mejorar aún más el rendimiento. Experimentos exhaustivos muestran que Chunk-GRPO logra resultados superiores tanto en alineación de preferencias como en calidad de imagen, destacando la promesa de la optimización a nivel de fragmento para los métodos basados en GRPO.

English

Group Relative Policy Optimization (GRPO) has shown strong potential for flow-matching-based text-to-image (T2I) generation, but it faces two key limitations: inaccurate advantage attribution, and the neglect of temporal dynamics of generation. In this work, we argue that shifting the optimization paradigm from the step level to the chunk level can effectively alleviate these issues. Building on this idea, we propose Chunk-GRPO, the first chunk-level GRPO-based approach for T2I generation. The insight is to group consecutive steps into coherent 'chunk's that capture the intrinsic temporal dynamics of flow matching, and to optimize policies at the chunk level. In addition, we introduce an optional weighted sampling strategy to further enhance performance. Extensive experiments show that ChunkGRPO achieves superior results in both preference alignment and image quality, highlighting the promise of chunk-level optimization for GRPO-based methods.