Campione per Fasi, Ottimizza per Blocchi: GRPO a Livello di Blocco per la Generazione da Testo a Immagine

Sample By Step, Optimize By Chunk: Chunk-Level GRPO For Text-to-Image Generation

October 24, 2025

Autori: Yifu Luo, Penghui Du, Bo Li, Sinan Du, Tiantian Zhang, Yongzhe Chang, Kai Wu, Kun Gai, Xueqian Wang

cs.AI

Abstract

Il Group Relative Policy Optimization (GRPO) ha dimostrato un forte potenziale per la generazione di immagini da testo (Text-to-Image, T2I) basata sul flow matching, ma affronta due limitazioni chiave: un'attribuzione del vantaggio inaccurata e la trascuratezza delle dinamiche temporali della generazione. In questo lavoro, sosteniamo che spostare il paradigma di ottimizzazione dal livello del singolo step al livello del chunk possa alleviare efficacemente questi problemi. Sulla base di questa idea, proponiamo Chunk-GRPO, il primo approccio per la generazione T2I basato su GRPO a livello di chunk. L'idea fondamentale è raggruppare step consecutivi in "chunk" coerenti che catturino le dinamiche temporali intrinseche del flow matching e ottimizzare le policy a livello di chunk. Inoltre, introduciamo una strategia opzionale di campionamento pesato per migliorare ulteriormente le prestazioni. Esperimenti estensivi mostrano che Chunk-GRPO ottiene risultati superiori sia nell'allineamento alle preferenze che nella qualità dell'immagine, evidenziando le promesse dell'ottimizzazione a livello di chunk per i metodi basati su GRPO.

English

Group Relative Policy Optimization (GRPO) has shown strong potential for flow-matching-based text-to-image (T2I) generation, but it faces two key limitations: inaccurate advantage attribution, and the neglect of temporal dynamics of generation. In this work, we argue that shifting the optimization paradigm from the step level to the chunk level can effectively alleviate these issues. Building on this idea, we propose Chunk-GRPO, the first chunk-level GRPO-based approach for T2I generation. The insight is to group consecutive steps into coherent 'chunk's that capture the intrinsic temporal dynamics of flow matching, and to optimize policies at the chunk level. In addition, we introduce an optional weighted sampling strategy to further enhance performance. Extensive experiments show that ChunkGRPO achieves superior results in both preference alignment and image quality, highlighting the promise of chunk-level optimization for GRPO-based methods.