Технический отчет Qwen-Image-2.0-RL

Аннотация

Мы представляем Qwen-Image-2.0-RL — конвейер пост-обучения, который применяет обучение с подкреплением на основе человеческой обратной связи (RLHF) и дистилляцию на основе текущей политики (OPD) для улучшения как визуального качества, так и способности следования инструкциям диффузионной модели Qwen-Image-2.0. Для обеспечения надежных сигналов вознаграждения мы строим специализированные композитные модели вознаграждения для конкретных задач, настраивая модели «зрение-язык» с использованием поточечной парадигмы оценки и цепочки рассуждений. Для генерации текста в изображение модели вознаграждения охватывают аспекты согласованности, эстетики и точности портретов. Для задач редактирования изображений система вознаграждения учитывает точность следования инструкциям и сохранение идентичности лица. На основе этой системы вознаграждения мы разрабатываем масштабируемую структуру обучения с подкреплением на базе GRPO, включающую гибридную стратегию бесклассификаторного управления (CFG) для сохранения предварительно обученных знаний, фильтрацию запросов на основе диапазона вознаграждения внутри группы и калибровку весов вознаграждения по категориям. Для объединения специализированных для задач политик RL для T2I и редактирования мы предлагаем дистилляцию на основе текущей политики в качестве финального этапа обучения, которая объединяет нескольких учителей в единую модель ученика через согласование скоростей на уровне траекторий. Обширная оценка показывает, что Qwen-Image-2.0-RL достигает общего балла 57,84 на Qwen-Image-Bench (+2,61 по сравнению с базовой моделью), рейтингов Эло 1193 в арене «текст-в-изображение» (+78) и 1349 в арене редактирования изображений (+93), демонстрируя устойчивые улучшения в эстетическом качестве, соответствии запросам и точности редактирования.

English

We present Qwen-Image-2.0-RL, a post-training pipeline that applies reinforcement learning from human feedback (RLHF) and on-policy distillation (OPD) to improve both the visual quality and instruction-following capability of the Qwen-Image-2.0 diffusion model. To provide reliable reward signals, we construct task-specific composite reward models by fine-tuning vision-language models with a pointwise scoring paradigm and chain-of-thought reasoning. For text-to-image generation, the reward models cover alignment, aesthetics, and portrait fidelity dimensions. For image editing tasks, the reward system addresses instruction-following accuracy and face identity preservation. Building on this reward system, we develop a scalable GRPO-based RL training framework, incorporating a hybrid classifier-free guidance (CFG) strategy to preserve pre-trained knowledge, prompt curation via intra-group reward range filtering, and per-category reward weight calibration. To merge the task-specialized RL policies for T2I and editing, we propose on-policy distillation as the final training stage, which consolidates multiple teachers into a single student model through trajectory-level velocity matching. Extensive evaluation shows that Qwen-Image-2.0-RL achieves 57.84 overall score on Qwen-Image-Bench (+2.61 over the base model), Elo ratings of 1193 in text-to-image arena (+78) and 1349 in image edit arena (+93), demonstrating consistent gains in aesthetic quality, prompt adherence, and editing accuracy.