Qwen-Image-2.0-RL 기술 보고서

초록

우리는 Qwen-Image-2.0-RL을 제시합니다. 이는 인간 피드백으로부터의 강화 학습(RLHF)과 온-정책 증류(OPD)를 적용하여 Qwen-Image-2.0 확산 모델의 시각적 품질과 지시 수행 능력을 모두 향상시키는 사후 훈련 파이프라인입니다. 신뢰할 수 있는 보상 신호를 제공하기 위해, 우리는 점별 점수 매기기 패러다임과 사고 사슬 추론을 사용하여 시각-언어 모델을 미세 조정함으로써 작업별 복합 보상 모델을 구축합니다. 텍스트-이미지 생성의 경우, 보상 모델은 정렬, 미적 품질 및 초상화 충실도 차원을 포함합니다. 이미지 편집 작업의 경우, 보상 시스템은 지시 수행 정확성과 얼굴 동일성 보존을 다룹니다. 이 보상 시스템을 기반으로, 우리는 확장 가능한 GRPO 기반 RL 훈련 프레임워크를 개발합니다. 이 프레임워크는 사전 훈련된 지식을 보존하기 위한 하이브리드 분류기 없는 안내(CFG) 전략, 그룹 내 보상 범위 필터링을 통한 프롬프트 큐레이션, 및 범주별 보상 가중치 보정을 포함합니다. T2I와 편집을 위한 작업 특화 RL 정책을 병합하기 위해, 우리는 최종 훈련 단계로 온-정책 증류를 제안합니다. 이는 궤적 수준 속도 매칭을 통해 여러 교사 모델을 단일 학생 모델로 통합합니다. 광범위한 평가 결과, Qwen-Image-2.0-RL은 Qwen-Image-Bench에서 전체 점수 57.84점(기본 모델 대비 +2.61), 텍스트-이미지 아레나에서 Elo 등급 1193(+78), 이미지 편집 아레나에서 1349(+93)를 달성하여 미적 품질, 프롬프트 준수 및 편집 정확성에서 일관된 향상을 보여줍니다.

English

We present Qwen-Image-2.0-RL, a post-training pipeline that applies reinforcement learning from human feedback (RLHF) and on-policy distillation (OPD) to improve both the visual quality and instruction-following capability of the Qwen-Image-2.0 diffusion model. To provide reliable reward signals, we construct task-specific composite reward models by fine-tuning vision-language models with a pointwise scoring paradigm and chain-of-thought reasoning. For text-to-image generation, the reward models cover alignment, aesthetics, and portrait fidelity dimensions. For image editing tasks, the reward system addresses instruction-following accuracy and face identity preservation. Building on this reward system, we develop a scalable GRPO-based RL training framework, incorporating a hybrid classifier-free guidance (CFG) strategy to preserve pre-trained knowledge, prompt curation via intra-group reward range filtering, and per-category reward weight calibration. To merge the task-specialized RL policies for T2I and editing, we propose on-policy distillation as the final training stage, which consolidates multiple teachers into a single student model through trajectory-level velocity matching. Extensive evaluation shows that Qwen-Image-2.0-RL achieves 57.84 overall score on Qwen-Image-Bench (+2.61 over the base model), Elo ratings of 1193 in text-to-image arena (+78) and 1349 in image edit arena (+93), demonstrating consistent gains in aesthetic quality, prompt adherence, and editing accuracy.