サンプルごとにステップ、チャンクごとに最適化：テキストから画像生成のためのチャンクレベルGRPO

要旨

Group Relative Policy Optimization（GRPO）は、フローマッチングに基づくテキストから画像への生成において強力な可能性を示しているが、2つの主要な課題に直面している：不正確なアドバンテージ帰属と、生成の時間的ダイナミクスの軽視である。本研究では、最適化のパラダイムをステップ単位からチャンク単位に移行することで、これらの問題を効果的に緩和できると主張する。この考え方に基づき、我々はT2I生成における初のチャンクレベルGRPOベースのアプローチであるChunk-GRPOを提案する。重要な洞察は、連続するステップをフローマッチングの内在的時間的ダイナミクスを捉えた一貫性のある「チャンク」にグループ化し、ポリシーをチャンクレベルで最適化することである。さらに、性能をさらに向上させるためのオプションの重み付きサンプリング戦略を導入する。大規模な実験により、Chunk-GRPOが選好アライメントと画質の両方において優れた結果を達成することが示され、GRPOベース手法におけるチャンクレベル最適化の可能性が強調された。

English

Group Relative Policy Optimization (GRPO) has shown strong potential for flow-matching-based text-to-image (T2I) generation, but it faces two key limitations: inaccurate advantage attribution, and the neglect of temporal dynamics of generation. In this work, we argue that shifting the optimization paradigm from the step level to the chunk level can effectively alleviate these issues. Building on this idea, we propose Chunk-GRPO, the first chunk-level GRPO-based approach for T2I generation. The insight is to group consecutive steps into coherent 'chunk's that capture the intrinsic temporal dynamics of flow matching, and to optimize policies at the chunk level. In addition, we introduce an optional weighted sampling strategy to further enhance performance. Extensive experiments show that ChunkGRPO achieves superior results in both preference alignment and image quality, highlighting the promise of chunk-level optimization for GRPO-based methods.

サンプルごとにステップ、チャンクごとに最適化：テキストから画像生成のためのチャンクレベルGRPO

Sample By Step, Optimize By Chunk: Chunk-Level GRPO For Text-to-Image Generation

要旨

Support