Stichprobenweise Schritt für Schritt, Optimierung stückweise: Chunk-Level-GRPO für die Text-zu-Bild-Generierung

Sample By Step, Optimize By Chunk: Chunk-Level GRPO For Text-to-Image Generation

October 24, 2025

papers.authors: Yifu Luo, Penghui Du, Bo Li, Sinan Du, Tiantian Zhang, Yongzhe Chang, Kai Wu, Kun Gai, Xueqian Wang

cs.AI

papers.abstract

Group Relative Policy Optimization (GRPO) hat ein großes Potenzial für flussbasiertes Text-zu-Bild (T2I) Generation gezeigt, steht jedoch vor zwei zentralen Einschränkungen: ungenauer Vorteilsattribuierung und der Vernachlässigung der zeitlichen Dynamik der Generierung. In dieser Arbeit argumentieren wir, dass eine Verlagerung des Optimierungsparadigmas von der Schrittebene auf die Chunk-Ebene diese Probleme wirksam entschärfen kann. Aufbauend auf dieser Idee schlagen wir Chunk-GRPO vor, den ersten chunkbasierten GRPO-Ansatz für die T2I-Generierung. Die grundlegende Einsicht besteht darin, aufeinanderfolgende Schritte zu kohärenten "Chunks" zusammenzufassen, die die intrinsische zeitliche Dynamik des Flow Matching erfassen, und die Richtlinien auf Chunk-Ebene zu optimieren. Zusätzlich führen wir eine optionale gewichtete Sampling-Strategie ein, um die Leistung weiter zu steigern. Umfangreiche Experimente zeigen, dass ChunkGRPO sowohl in der Präferenzausrichtung als auch in der Bildqualität überlegene Ergebnisse erzielt und damit die vielversprechenden Möglichkeiten der chunkbasierten Optimierung für GRPO-Methoden unterstreicht.

English

Group Relative Policy Optimization (GRPO) has shown strong potential for flow-matching-based text-to-image (T2I) generation, but it faces two key limitations: inaccurate advantage attribution, and the neglect of temporal dynamics of generation. In this work, we argue that shifting the optimization paradigm from the step level to the chunk level can effectively alleviate these issues. Building on this idea, we propose Chunk-GRPO, the first chunk-level GRPO-based approach for T2I generation. The insight is to group consecutive steps into coherent 'chunk's that capture the intrinsic temporal dynamics of flow matching, and to optimize policies at the chunk level. In addition, we introduce an optional weighted sampling strategy to further enhance performance. Extensive experiments show that ChunkGRPO achieves superior results in both preference alignment and image quality, highlighting the promise of chunk-level optimization for GRPO-based methods.