ReasonGen-R1: CoT para modelos de generación de imágenes autoregresivos mediante SFT y RL

ReasonGen-R1: CoT for Autoregressive Image generation models through SFT and RL

May 30, 2025

Autores: Yu Zhang, Yunqi Li, Yifan Yang, Rui Wang, Yuqing Yang, Dai Qi, Jianmin Bao, Dongdong Chen, Chong Luo, Lili Qiu

cs.AI

Resumen

Aunque el razonamiento en cadena de pensamiento y el aprendizaje por refuerzo (RL) han impulsado avances significativos en el procesamiento del lenguaje natural (NLP), su integración en modelos generativos de visión sigue siendo poco explorada. Presentamos ReasonGen-R1, un marco de trabajo de dos etapas que primero dota a un generador de imágenes autoregresivo de habilidades explícitas de "pensamiento" basadas en texto mediante un ajuste fino supervisado en un nuevo conjunto de datos de razonamiento que incluye justificaciones escritas, y luego refina sus salidas utilizando la Optimización de Política Relativa de Grupo (GRPO). Para permitir que el modelo razone a través del texto antes de generar imágenes, generamos automáticamente y publicamos un corpus de justificaciones elaboradas por el modelo, emparejadas con indicaciones visuales, lo que permite una planificación controlada de disposiciones de objetos, estilos y composiciones de escenas. Nuestro algoritmo GRPO utiliza señales de recompensa de un modelo de lenguaje visual preentrenado para evaluar la calidad visual general, optimizando la política en cada actualización. Las evaluaciones en GenEval, DPG y el benchmark T2I demuestran que ReasonGen-R1 supera consistentemente a los modelos de referencia sólidos y a los modelos de última generación anteriores. Más información: aka.ms/reasongen.

English

Although chain-of-thought reasoning and reinforcement learning (RL) have driven breakthroughs in NLP, their integration into generative vision models remains underexplored. We introduce ReasonGen-R1, a two-stage framework that first imbues an autoregressive image generator with explicit text-based "thinking" skills via supervised fine-tuning on a newly generated reasoning dataset of written rationales, and then refines its outputs using Group Relative Policy Optimization. To enable the model to reason through text before generating images, We automatically generate and release a corpus of model crafted rationales paired with visual prompts, enabling controlled planning of object layouts, styles, and scene compositions. Our GRPO algorithm uses reward signals from a pretrained vision language model to assess overall visual quality, optimizing the policy in each update. Evaluations on GenEval, DPG, and the T2I benchmark demonstrate that ReasonGen-R1 consistently outperforms strong baselines and prior state-of-the-art models. More: aka.ms/reasongen.