Qwen-Image-2.0-RL 技術報告

要旨

本論文では、Qwen-Image-2.0-RLを提案する。これは、人間からのフィードバックを用いた強化学習（RLHF）とオンポリシー蒸留（OPD）を適用し、Qwen-Image-2.0拡散モデルの視覚品質と指示追従能力の両方を改善する後処理パイプラインである。信頼性の高い報酬信号を提供するため、ポイントワイズスコアリングパラダイムと思考連鎖推論を用いて視覚言語モデルを微調整し、タスク固有の複合報酬モデルを構築する。テキストから画像への生成において、報酬モデルは整合性、美的品質、肖像忠実度の各次元をカバーする。画像編集タスクにおいては、報酬システムは指示追従精度と顔の同一性保存に対処する。この報酬システムに基づき、事前学習知識を保持するためのハイブリッド分類器不要ガイダンス（CFG）戦略、グループ内報酬範囲フィルタリングによるプロンプトキュレーション、およびカテゴリ別報酬重み調整を組み込んだ、スケーラブルなGRPOベースのRL訓練フレームワークを開発する。T2Iと編集のためのタスク特化型RLポリシーを統合するため、最終訓練段階としてオンポリシー蒸留を提案する。これは、軌跡レベルの速度マッチングを通じて複数の教師モデルを単一の生徒モデルに集約するものである。広範な評価により、Qwen-Image-2.0-RLはQwen-Image-Benchで総合スコア57.84（ベースモデル比+2.61）、テキストから画像生成のアリーナでElo評価値1193（+78）、画像編集のアリーナで1349（+93）を達成し、美的品質、プロンプトへの忠実性、編集精度において一貫した改善を示すことが確認された。

English

We present Qwen-Image-2.0-RL, a post-training pipeline that applies reinforcement learning from human feedback (RLHF) and on-policy distillation (OPD) to improve both the visual quality and instruction-following capability of the Qwen-Image-2.0 diffusion model. To provide reliable reward signals, we construct task-specific composite reward models by fine-tuning vision-language models with a pointwise scoring paradigm and chain-of-thought reasoning. For text-to-image generation, the reward models cover alignment, aesthetics, and portrait fidelity dimensions. For image editing tasks, the reward system addresses instruction-following accuracy and face identity preservation. Building on this reward system, we develop a scalable GRPO-based RL training framework, incorporating a hybrid classifier-free guidance (CFG) strategy to preserve pre-trained knowledge, prompt curation via intra-group reward range filtering, and per-category reward weight calibration. To merge the task-specialized RL policies for T2I and editing, we propose on-policy distillation as the final training stage, which consolidates multiple teachers into a single student model through trajectory-level velocity matching. Extensive evaluation shows that Qwen-Image-2.0-RL achieves 57.84 overall score on Qwen-Image-Bench (+2.61 over the base model), Elo ratings of 1193 in text-to-image arena (+78) and 1349 in image edit arena (+93), demonstrating consistent gains in aesthetic quality, prompt adherence, and editing accuracy.