ReasonGen-R1: CoT para modelos de generación de imágenes autoregresivos mediante SFT y RL
ReasonGen-R1: CoT for Autoregressive Image generation models through SFT and RL
May 30, 2025
Autores: Yu Zhang, Yunqi Li, Yifan Yang, Rui Wang, Yuqing Yang, Dai Qi, Jianmin Bao, Dongdong Chen, Chong Luo, Lili Qiu
cs.AI
Resumen
Aunque el razonamiento en cadena de pensamiento y el aprendizaje por refuerzo (RL) han impulsado avances significativos en el procesamiento del lenguaje natural (NLP), su integración en modelos generativos de visión sigue siendo poco explorada. Presentamos ReasonGen-R1, un marco de trabajo de dos etapas que primero dota a un generador de imágenes autoregresivo de habilidades explícitas de "pensamiento" basadas en texto mediante un ajuste fino supervisado en un nuevo conjunto de datos de razonamiento que incluye justificaciones escritas, y luego refina sus salidas utilizando la Optimización de Política Relativa de Grupo (GRPO). Para permitir que el modelo razone a través del texto antes de generar imágenes, generamos automáticamente y publicamos un corpus de justificaciones elaboradas por el modelo, emparejadas con indicaciones visuales, lo que permite una planificación controlada de disposiciones de objetos, estilos y composiciones de escenas. Nuestro algoritmo GRPO utiliza señales de recompensa de un modelo de lenguaje visual preentrenado para evaluar la calidad visual general, optimizando la política en cada actualización. Las evaluaciones en GenEval, DPG y el benchmark T2I demuestran que ReasonGen-R1 supera consistentemente a los modelos de referencia sólidos y a los modelos de última generación anteriores. Más información: aka.ms/reasongen.
English
Although chain-of-thought reasoning and reinforcement learning (RL) have
driven breakthroughs in NLP, their integration into generative vision models
remains underexplored. We introduce ReasonGen-R1, a two-stage framework that
first imbues an autoregressive image generator with explicit text-based
"thinking" skills via supervised fine-tuning on a newly generated reasoning
dataset of written rationales, and then refines its outputs using Group
Relative Policy Optimization. To enable the model to reason through text before
generating images, We automatically generate and release a corpus of model
crafted rationales paired with visual prompts, enabling controlled planning of
object layouts, styles, and scene compositions. Our GRPO algorithm uses reward
signals from a pretrained vision language model to assess overall visual
quality, optimizing the policy in each update. Evaluations on GenEval, DPG, and
the T2I benchmark demonstrate that ReasonGen-R1 consistently outperforms strong
baselines and prior state-of-the-art models. More: aka.ms/reasongen.