ReasonGen-R1: CoT для авторегрессионных моделей генерации изображений через SFT и RL

ReasonGen-R1: CoT for Autoregressive Image generation models through SFT and RL

May 30, 2025

Авторы: Yu Zhang, Yunqi Li, Yifan Yang, Rui Wang, Yuqing Yang, Dai Qi, Jianmin Bao, Dongdong Chen, Chong Luo, Lili Qiu

cs.AI

Аннотация

Хотя цепочка рассуждений (chain-of-thought reasoning) и обучение с подкреплением (RL) привели к прорывам в области обработки естественного языка (NLP), их интеграция в генеративные модели для работы с изображениями остается недостаточно изученной. Мы представляем ReasonGen-R1 — двухэтапную структуру, которая сначала наделяет авторегрессионный генератор изображений явными навыками "мышления" на основе текста с помощью контролируемой тонкой настройки на новом наборе данных, содержащем письменные обоснования, а затем улучшает его выходные данные с использованием оптимизации групповой относительной политики (Group Relative Policy Optimization). Чтобы модель могла рассуждать через текст перед генерацией изображений, мы автоматически создаем и публикуем корпус обоснований, сгенерированных моделью, в паре с визуальными подсказками, что позволяет контролировать планирование расположения объектов, стилей и композиции сцен. Наш алгоритм GRPO использует сигналы вознаграждения от предварительно обученной модели, работающей с визуальным и текстовым контентом, для оценки общей визуальной качества, оптимизируя политику на каждом этапе обновления. Оценки на наборах данных GenEval, DPG и бенчмарке T2I демонстрируют, что ReasonGen-R1 стабильно превосходит сильные базовые модели и предыдущие передовые решения. Подробнее: aka.ms/reasongen.

English

Although chain-of-thought reasoning and reinforcement learning (RL) have driven breakthroughs in NLP, their integration into generative vision models remains underexplored. We introduce ReasonGen-R1, a two-stage framework that first imbues an autoregressive image generator with explicit text-based "thinking" skills via supervised fine-tuning on a newly generated reasoning dataset of written rationales, and then refines its outputs using Group Relative Policy Optimization. To enable the model to reason through text before generating images, We automatically generate and release a corpus of model crafted rationales paired with visual prompts, enabling controlled planning of object layouts, styles, and scene compositions. Our GRPO algorithm uses reward signals from a pretrained vision language model to assess overall visual quality, optimizing the policy in each update. Evaluations on GenEval, DPG, and the T2I benchmark demonstrate that ReasonGen-R1 consistently outperforms strong baselines and prior state-of-the-art models. More: aka.ms/reasongen.