Qwen-Image-2.0-RL Technischer Bericht

Zusammenfassung

Wir präsentieren Qwen-Image-2.0-RL, eine Post-Training-Pipeline, die Verstärkungslernen durch menschliches Feedback (RLHF) und On-Policy-Destillation (OPD) anwendet, um sowohl die visuelle Qualität als auch die Fähigkeit zur Befolgung von Anweisungen des Qwen-Image-2.0-Diffusionsmodells zu verbessern. Um zuverlässige Belohnungssignale bereitzustellen, konstruieren wir aufgabenspezifische zusammengesetzte Belohnungsmodelle, indem wir Vision-Language-Modelle mit einem punktuellen Bewertungsschema und Ketten-von-Gedanken-Schlussfolgerung verfeinern. Für die Text-zu-Bild-Generierung decken die Belohnungsmodelle die Dimensionen Ausrichtung, Ästhetik und Portrait-Treue ab. Für Bildbearbeitungsaufgaben adressiert das Belohnungssystem die Genauigkeit der Befolgung von Anweisungen und die Erhaltung der Gesichtsidentität. Aufbauend auf diesem Belohnungssystem entwickeln wir ein skalierbares GRPO-basiertes RL-Trainingsframework, das eine hybride klassifikatorfreie Führungsstrategie (CFG) zur Bewahrung von vortrainiertem Wissen, eine Prompt-Kuration durch gruppeninterne Belohnungsbereichsfilterung und eine kategoriespezifische Belohnungsgewichtskalibrierung integriert. Um die aufgabenspezifischen RL-Policys für T2I und Bearbeitung zu vereinen, schlagen wir On-Policy-Destillation als letzte Trainingsstufe vor, die mehrere Lehrer über eine geschwindigkeitsbasierte Trajektorienanpassung in ein einziges Schülermodell konsolidiert. Umfangreiche Auswertungen zeigen, dass Qwen-Image-2.0-RL auf Qwen-Image-Bench eine Gesamtpunktzahl von 57,84 (+2,61 gegenüber dem Basismodell), Elo-Werte von 1193 in der Text-zu-Bild-Arena (+78) und 1349 in der Bildbearbeitungsarena (+93) erreicht, was konsistente Verbesserungen in ästhetischer Qualität, Befolgung von Aufforderungen und Bearbeitungsgenauigkeit belegt.

English

We present Qwen-Image-2.0-RL, a post-training pipeline that applies reinforcement learning from human feedback (RLHF) and on-policy distillation (OPD) to improve both the visual quality and instruction-following capability of the Qwen-Image-2.0 diffusion model. To provide reliable reward signals, we construct task-specific composite reward models by fine-tuning vision-language models with a pointwise scoring paradigm and chain-of-thought reasoning. For text-to-image generation, the reward models cover alignment, aesthetics, and portrait fidelity dimensions. For image editing tasks, the reward system addresses instruction-following accuracy and face identity preservation. Building on this reward system, we develop a scalable GRPO-based RL training framework, incorporating a hybrid classifier-free guidance (CFG) strategy to preserve pre-trained knowledge, prompt curation via intra-group reward range filtering, and per-category reward weight calibration. To merge the task-specialized RL policies for T2I and editing, we propose on-policy distillation as the final training stage, which consolidates multiple teachers into a single student model through trajectory-level velocity matching. Extensive evaluation shows that Qwen-Image-2.0-RL achieves 57.84 overall score on Qwen-Image-Bench (+2.61 over the base model), Elo ratings of 1193 in text-to-image arena (+78) and 1349 in image edit arena (+93), demonstrating consistent gains in aesthetic quality, prompt adherence, and editing accuracy.