DenseGRPO：フローマッチングモデルアライメントのためのスパース報酬から高密度報酬へ

要旨

近年、フローマッチングモデルを基盤としたGRPOベースのアプローチは、テキストから画像への生成における人間の嗜好への適合性で顕著な改善を示している。しかしながら、これらの手法は依然としてスパース報酬問題に悩まされている。つまり、全体的な脱ノイズ軌道の終端報酬が全ての中間ステップに適用されるため、大域的なフィードバック信号と各脱ノイズステップにおけるきめ細かい貢献度との間に不一致が生じる。この問題を解決するため、我々はDenseGRPOを提案する。これは各脱ノイズステップの細粒度な貢献度を評価する、密な報酬を用いて人間の嗜好に適合させる新規フレームワークである。具体的には、本手法は以下の2つの主要コンポーネントを含む。(1) 各脱ノイズステップのステップ単位の報酬増分を密報酬として予測することを提案し、ODEベースのアプローチにより中間クリーン画像に対して報酬モデルを適用する。この方法はフィードバック信号と個々のステップの貢献度との整合性を保証し、効果的な学習を促進する。(2) 推定された密報酬に基づき、既存のGRPOベース手法における均一探索設定と時間変動するノイズ強度との間の不一致問題を明らかにし、不適切な探索空間が導かれることを示す。そこで我々は、SDEサンプラーにおいて時刻特異的な確率的摂動を適応的に調整することで探索空間を較正する報酬認識スキームを提案し、全てのタイムステップで適切な探索空間を保証する。複数の標準ベンチマークにおける大規模な実験により、提案するDenseGRPOの有効性が実証され、フローマッチングモデルの適合において有効な密報酬が決定的に重要であることが明らかになった。

English

Recent GRPO-based approaches built on flow matching models have shown remarkable improvements in human preference alignment for text-to-image generation. Nevertheless, they still suffer from the sparse reward problem: the terminal reward of the entire denoising trajectory is applied to all intermediate steps, resulting in a mismatch between the global feedback signals and the exact fine-grained contributions at intermediate denoising steps. To address this issue, we introduce DenseGRPO, a novel framework that aligns human preference with dense rewards, which evaluates the fine-grained contribution of each denoising step. Specifically, our approach includes two key components: (1) we propose to predict the step-wise reward gain as dense reward of each denoising step, which applies a reward model on the intermediate clean images via an ODE-based approach. This manner ensures an alignment between feedback signals and the contributions of individual steps, facilitating effective training; and (2) based on the estimated dense rewards, a mismatch drawback between the uniform exploration setting and the time-varying noise intensity in existing GRPO-based methods is revealed, leading to an inappropriate exploration space. Thus, we propose a reward-aware scheme to calibrate the exploration space by adaptively adjusting a timestep-specific stochasticity injection in the SDE sampler, ensuring a suitable exploration space at all timesteps. Extensive experiments on multiple standard benchmarks demonstrate the effectiveness of the proposed DenseGRPO and highlight the critical role of the valid dense rewards in flow matching model alignment.

DenseGRPO：フローマッチングモデルアライメントのためのスパース報酬から高密度報酬へ

DenseGRPO: From Sparse to Dense Reward for Flow Matching Model Alignment

要旨

Support