Qwen-Image-2.0-RL: Informe Técnico

Resumen

Presentamos Qwen-Image-2.0-RL, un pipeline de post-entrenamiento que aplica aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) y destilación en política (OPD) para mejorar tanto la calidad visual como la capacidad de seguimiento de instrucciones del modelo de difusión Qwen-Image-2.0. Para proporcionar señales de recompensa fiables, construimos modelos de recompensa compuestos específicos para cada tarea ajustando modelos de visión-lenguaje con un paradigma de puntuación puntual y razonamiento en cadena de pensamiento. Para la generación de texto a imagen, los modelos de recompensa abarcan dimensiones de alineación, estética y fidelidad del retrato. Para tareas de edición de imágenes, el sistema de recompensa aborda la precisión en el seguimiento de instrucciones y la preservación de la identidad facial. Basándonos en este sistema de recompensa, desarrollamos un marco de entrenamiento RL escalable basado en GRPO, incorporando una estrategia híbrida de guía sin clasificador (CFG) para preservar el conocimiento preentrenado, curación de indicaciones mediante filtrado de rango de recompensa intra-grupo y calibración de pesos de recompensa por categoría. Para fusionar las políticas RL especializadas en tareas para T2I y edición, proponemos la destilación en política como etapa final de entrenamiento, que consolida múltiples maestros en un único modelo estudiante mediante emparejamiento de velocidad a nivel de trayectoria. Una evaluación exhaustiva muestra que Qwen-Image-2.0-RL alcanza una puntuación global de 57,84 en Qwen-Image-Bench (+2,61 sobre el modelo base), valoraciones Elo de 1193 en el ámbito de texto a imagen (+78) y 1349 en el ámbito de edición de imágenes (+93), demostrando mejoras consistentes en calidad estética, adherencia a las indicaciones y precisión en la edición.

English

We present Qwen-Image-2.0-RL, a post-training pipeline that applies reinforcement learning from human feedback (RLHF) and on-policy distillation (OPD) to improve both the visual quality and instruction-following capability of the Qwen-Image-2.0 diffusion model. To provide reliable reward signals, we construct task-specific composite reward models by fine-tuning vision-language models with a pointwise scoring paradigm and chain-of-thought reasoning. For text-to-image generation, the reward models cover alignment, aesthetics, and portrait fidelity dimensions. For image editing tasks, the reward system addresses instruction-following accuracy and face identity preservation. Building on this reward system, we develop a scalable GRPO-based RL training framework, incorporating a hybrid classifier-free guidance (CFG) strategy to preserve pre-trained knowledge, prompt curation via intra-group reward range filtering, and per-category reward weight calibration. To merge the task-specialized RL policies for T2I and editing, we propose on-policy distillation as the final training stage, which consolidates multiple teachers into a single student model through trajectory-level velocity matching. Extensive evaluation shows that Qwen-Image-2.0-RL achieves 57.84 overall score on Qwen-Image-Bench (+2.61 over the base model), Elo ratings of 1193 in text-to-image arena (+78) and 1349 in image edit arena (+93), demonstrating consistent gains in aesthetic quality, prompt adherence, and editing accuracy.