T2I-R1: Reforzando la Generación de Imágenes con un Pensamiento en Cadena Colaborativo a Nivel Semántico y de Tokens

T2I-R1: Reinforcing Image Generation with Collaborative Semantic-level and Token-level CoT

May 1, 2025

Autores: Dongzhi Jiang, Ziyu Guo, Renrui Zhang, Zhuofan Zong, Hao Li, Le Zhuo, Shilin Yan, Pheng-Ann Heng, Hongsheng Li

cs.AI

Resumen

Los avances recientes en los modelos de lenguaje de gran escala han demostrado cómo la cadena de pensamiento (CoT, por sus siglas en inglés) y el aprendizaje por refuerzo (RL, por sus siglas en inglés) pueden mejorar el rendimiento. Sin embargo, la aplicación de estas estrategias de razonamiento en el dominio de la generación visual sigue siendo en gran medida inexplorada. En este artículo, presentamos T2I-R1, un novedoso modelo de generación de texto a imagen mejorado con razonamiento, impulsado por RL con un proceso de razonamiento CoT de dos niveles. Específicamente, identificamos dos niveles de CoT que pueden utilizarse para mejorar diferentes etapas de la generación: (1) el CoT a nivel semántico para la planificación de alto nivel del prompt y (2) el CoT a nivel de tokens para el procesamiento de píxeles de bajo nivel durante la generación por parches. Para coordinar mejor estos dos niveles de CoT, introducimos BiCoT-GRPO con un conjunto de recompensas de generación, que optimiza de manera fluida ambos CoT de generación dentro del mismo paso de entrenamiento. Al aplicar nuestras estrategias de razonamiento al modelo base, Janus-Pro, logramos un rendimiento superior con una mejora del 13% en T2I-CompBench y del 19% en el benchmark WISE, superando incluso al modelo de última generación FLUX.1. El código está disponible en: https://github.com/CaraJ7/T2I-R1.

English

Recent advancements in large language models have demonstrated how chain-of-thought (CoT) and reinforcement learning (RL) can improve performance. However, applying such reasoning strategies to the visual generation domain remains largely unexplored. In this paper, we present T2I-R1, a novel reasoning-enhanced text-to-image generation model, powered by RL with a bi-level CoT reasoning process. Specifically, we identify two levels of CoT that can be utilized to enhance different stages of generation: (1) the semantic-level CoT for high-level planning of the prompt and (2) the token-level CoT for low-level pixel processing during patch-by-patch generation. To better coordinate these two levels of CoT, we introduce BiCoT-GRPO with an ensemble of generation rewards, which seamlessly optimizes both generation CoTs within the same training step. By applying our reasoning strategies to the baseline model, Janus-Pro, we achieve superior performance with 13% improvement on T2I-CompBench and 19% improvement on the WISE benchmark, even surpassing the state-of-the-art model FLUX.1. Code is available at: https://github.com/CaraJ7/T2I-R1