DiffusionART: 拡散モデルの効率的で安定かつスケーラブルな強化学習

要旨

オンライン強化学習（RL）はブラックボックス報酬によって拡散モデルを微調整するが、Flow-GRPO のような逆過程手法はクレジット割り当てが不十分なため効率が制限され、DiffusionNFT のような順過程手法は効率的であるものの、注意深く調整された指数移動平均（EMA）オフポリシー学習なしでは不安定である。我々は、NFT 形式の目的関数には、正例・負例の同時訓練によって部分的にしか相殺されない隠れた順逆一貫性力が含まれること、また EMA はオフポリシーロールアウトではなく復元を通じて訓練を安定化させることを示す。我々は DiffusionART（集約優先報酬傾斜を伴う拡散強化学習）を導入する。これは、各プロンプトの報酬を逆過程状態に対する共有の報酬改善方向へ集約することで、構成上、一貫性力を取り除き、EMA 調整なしでドリフト適応的復元を行うための信頼領域マスク付き第2更新を追加する。微分可能な報酬モデルを必要とせず、プロンプトあたりより少ないサンプルでも有効であり、ペアワイズ報酬モデル（DiffusionART-Pairwise）をサポートする。画像および動画生成において、DiffusionART はタスクごとの調整なしで効率的かつ安定に訓練する。特に、視覚品質と動作品質の報酬を等しく重み付けした HunyuanVideo-13B において、DiffusionART は DiffusionNFT および Flow-GRPO-Fast の後期平均報酬水準に、それぞれ 12.02 倍および 11.72 倍少ない GPU 時間で到達し、同時に平均訓練報酬は 28.8% および 53.0% 高い。

English

Online reinforcement learning (RL) fine-tunes diffusion models with black-box rewards, but reverse-process methods such as Flow-GRPO are limited in efficiency by poor credit assignment, while forward-process methods such as DiffusionNFT are efficient yet unstable without carefully tuned exponential-moving-average (EMA) off-policy training. We show that NFT-style objectives contain a hidden forward--reverse consistency force that joint positive--negative training cancels only partially, and that EMA stabilizes training through restoration rather than off-policy rollouts. We introduce DiffusionART (Diffusion Reinforcement with Aggregation-First Reward Tilting), which aggregates each prompt's rewards into a shared reward-improving direction for reverse-process states, removing the consistency force by construction, and adds a trust-region-masked second update for drift-adaptive restoration without EMA tuning. It requires no differentiable reward model, remains effective with fewer samples per prompt, and supports pairwise reward models (DiffusionART-Pairwise). Across image and video generation, DiffusionART trains efficiently and stably without per-task tuning. In particular, on HunyuanVideo-13B with equally weighted visual and motion quality rewards, DiffusionART reaches the late-stage mean reward levels of DiffusionNFT and Flow-GRPO-Fast with 12.02 and 11.72 times fewer GPU hours, respectively, while achieving 28.8% and 53.0% higher mean training rewards.

DiffusionART: 拡散モデルの効率的で安定かつスケーラブルな強化学習

DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models

要旨

Support