T2I-R1: Усиление генерации изображений с помощью совместного семантического и токенного CoT

T2I-R1: Reinforcing Image Generation with Collaborative Semantic-level and Token-level CoT

May 1, 2025

Авторы: Dongzhi Jiang, Ziyu Guo, Renrui Zhang, Zhuofan Zong, Hao Li, Le Zhuo, Shilin Yan, Pheng-Ann Heng, Hongsheng Li

cs.AI

Аннотация

Последние достижения в области больших языковых моделей продемонстрировали, как цепочка рассуждений (Chain-of-Thought, CoT) и обучение с подкреплением (Reinforcement Learning, RL) могут улучшить производительность. Однако применение таких стратегий рассуждений в области визуальной генерации остается в значительной степени неисследованным. В данной работе мы представляем T2I-R1, новую модель генерации изображений по тексту, усиленную рассуждениями, которая использует RL с двухуровневым процессом CoT. В частности, мы выделяем два уровня CoT, которые могут быть использованы для улучшения различных этапов генерации: (1) семантический уровень CoT для высокоуровневого планирования запроса и (2) токеновый уровень CoT для низкоуровневой обработки пикселей при поэтапной генерации. Для лучшей координации этих двух уровней CoT мы представляем BiCoT-GRPO с ансамблем наград за генерацию, который оптимизирует оба уровня CoT в рамках одного шага обучения. Применяя наши стратегии рассуждений к базовой модели Janus-Pro, мы достигаем превосходной производительности с улучшением на 13% на T2I-CompBench и на 19% на бенчмарке WISE, даже превосходя современную модель FLUX.1. Код доступен по адресу: https://github.com/CaraJ7/T2I-R1.

English

Recent advancements in large language models have demonstrated how chain-of-thought (CoT) and reinforcement learning (RL) can improve performance. However, applying such reasoning strategies to the visual generation domain remains largely unexplored. In this paper, we present T2I-R1, a novel reasoning-enhanced text-to-image generation model, powered by RL with a bi-level CoT reasoning process. Specifically, we identify two levels of CoT that can be utilized to enhance different stages of generation: (1) the semantic-level CoT for high-level planning of the prompt and (2) the token-level CoT for low-level pixel processing during patch-by-patch generation. To better coordinate these two levels of CoT, we introduce BiCoT-GRPO with an ensemble of generation rewards, which seamlessly optimizes both generation CoTs within the same training step. By applying our reasoning strategies to the baseline model, Janus-Pro, we achieve superior performance with 13% improvement on T2I-CompBench and 19% improvement on the WISE benchmark, even surpassing the state-of-the-art model FLUX.1. Code is available at: https://github.com/CaraJ7/T2I-R1