T2I-R1: Reforçando a Geração de Imagens com Raciocínio Colaborativo em Nível Semântico e de Tokens

T2I-R1: Reinforcing Image Generation with Collaborative Semantic-level and Token-level CoT

May 1, 2025

Autores: Dongzhi Jiang, Ziyu Guo, Renrui Zhang, Zhuofan Zong, Hao Li, Le Zhuo, Shilin Yan, Pheng-Ann Heng, Hongsheng Li

cs.AI

Resumo

Avanços recentes em modelos de linguagem de grande escala demonstraram como a cadeia de pensamento (CoT, do inglês "chain-of-thought") e o aprendizado por reforço (RL, do inglês "reinforcement learning") podem melhorar o desempenho. No entanto, a aplicação dessas estratégias de raciocínio no domínio de geração visual permanece amplamente inexplorada. Neste artigo, apresentamos o T2I-R1, um novo modelo de geração de texto para imagem aprimorado por raciocínio, impulsionado por RL com um processo de CoT em dois níveis. Especificamente, identificamos dois níveis de CoT que podem ser utilizados para aprimorar diferentes estágios da geração: (1) o CoT no nível semântico, para o planejamento de alto nível do prompt, e (2) o CoT no nível de tokens, para o processamento de baixo nível de pixels durante a geração patch por patch. Para melhor coordenar esses dois níveis de CoT, introduzimos o BiCoT-GRPO com um conjunto de recompensas de geração, que otimiza de forma integrada ambos os CoTs de geração dentro do mesmo passo de treinamento. Ao aplicar nossas estratégias de raciocínio ao modelo de base, Janus-Pro, alcançamos um desempenho superior com uma melhoria de 13% no T2I-CompBench e de 19% no benchmark WISE, superando até mesmo o modelo state-of-the-art FLUX.1. O código está disponível em: https://github.com/CaraJ7/T2I-R1.

English

Recent advancements in large language models have demonstrated how chain-of-thought (CoT) and reinforcement learning (RL) can improve performance. However, applying such reasoning strategies to the visual generation domain remains largely unexplored. In this paper, we present T2I-R1, a novel reasoning-enhanced text-to-image generation model, powered by RL with a bi-level CoT reasoning process. Specifically, we identify two levels of CoT that can be utilized to enhance different stages of generation: (1) the semantic-level CoT for high-level planning of the prompt and (2) the token-level CoT for low-level pixel processing during patch-by-patch generation. To better coordinate these two levels of CoT, we introduce BiCoT-GRPO with an ensemble of generation rewards, which seamlessly optimizes both generation CoTs within the same training step. By applying our reasoning strategies to the baseline model, Janus-Pro, we achieve superior performance with 13% improvement on T2I-CompBench and 19% improvement on the WISE benchmark, even surpassing the state-of-the-art model FLUX.1. Code is available at: https://github.com/CaraJ7/T2I-R1