Rapport technique Qwen-Image-2.0-RL

Résumé

Nous présentons Qwen-Image-2.0-RL, un pipeline de post-entraînement qui applique l'apprentissage par renforcement à partir du feedback humain (RLHF) et la distillation on-policy (OPD) pour améliorer à la fois la qualité visuelle et la capacité de suivi des instructions du modèle de diffusion Qwen-Image-2.0. Afin de fournir des signaux de récompense fiables, nous construisons des modèles de récompense composites spécifiques à chaque tâche en affinant des modèles vision-langage avec un paradigme d'évaluation ponctuelle et un raisonnement en chaîne de pensée. Pour la génération texte-vers-image, les modèles de récompense couvrent l'alignement, l'esthétique et la fidélité des portraits. Pour les tâches d'édition d'images, le système de récompense aborde la précision du suivi des instructions et la préservation de l'identité faciale. En nous appuyant sur ce système de récompense, nous développons un cadre d'entraînement RL scalable basé sur GRPO, intégrant une stratégie de guidage hybride sans classifieur (CFG) pour préserver les connaissances pré-entraînées, une curation des prompts via un filtrage par plage de récompense intra-groupe, et un calibrage des poids de récompense par catégorie. Afin de fusionner les politiques RL spécialisées pour les tâches T2I et d'édition, nous proposons la distillation on-policy comme étape d'entraînement finale, qui consolide plusieurs enseignants en un seul modèle étudiant via une correspondance de vélocité au niveau des trajectoires. Une évaluation approfondie montre que Qwen-Image-2.0-RL atteint un score global de 57,84 sur Qwen-Image-Bench (+2,61 par rapport au modèle de base), des classements Elo de 1193 dans l'arène texte-vers-image (+78) et de 1349 dans l'arène d'édition d'images (+93), démontrant des gains constants en qualité esthétique, en respect des consignes et en précision d'édition.

English

We present Qwen-Image-2.0-RL, a post-training pipeline that applies reinforcement learning from human feedback (RLHF) and on-policy distillation (OPD) to improve both the visual quality and instruction-following capability of the Qwen-Image-2.0 diffusion model. To provide reliable reward signals, we construct task-specific composite reward models by fine-tuning vision-language models with a pointwise scoring paradigm and chain-of-thought reasoning. For text-to-image generation, the reward models cover alignment, aesthetics, and portrait fidelity dimensions. For image editing tasks, the reward system addresses instruction-following accuracy and face identity preservation. Building on this reward system, we develop a scalable GRPO-based RL training framework, incorporating a hybrid classifier-free guidance (CFG) strategy to preserve pre-trained knowledge, prompt curation via intra-group reward range filtering, and per-category reward weight calibration. To merge the task-specialized RL policies for T2I and editing, we propose on-policy distillation as the final training stage, which consolidates multiple teachers into a single student model through trajectory-level velocity matching. Extensive evaluation shows that Qwen-Image-2.0-RL achieves 57.84 overall score on Qwen-Image-Bench (+2.61 over the base model), Elo ratings of 1193 in text-to-image arena (+78) and 1349 in image edit arena (+93), demonstrating consistent gains in aesthetic quality, prompt adherence, and editing accuracy.