T2I-R1: Versterking van beeldgeneratie met collaboratieve semantische en token-level CoT

Samenvatting

Recente ontwikkelingen in grote taalmodellen hebben aangetoond hoe chain-of-thought (CoT) en reinforcement learning (RL) de prestaties kunnen verbeteren. Het toepassen van dergelijke redeneerstrategieën in het domein van visuele generatie is echter grotendeels onontgonnen gebied. In dit artikel presenteren we T2I-R1, een nieuw redeneerversterkt tekst-naar-beeld generatiemodel, aangedreven door RL met een tweelaags CoT-redeneerproces. Specifiek identificeren we twee niveaus van CoT die kunnen worden gebruikt om verschillende fasen van de generatie te verbeteren: (1) het semantische niveau CoT voor hoogwaardige planning van de prompt en (2) het token-niveau CoT voor laagwaardige pixelverwerking tijdens patch-voor-patch generatie. Om deze twee niveaus van CoT beter op elkaar af te stemmen, introduceren we BiCoT-GRPO met een ensemble van generatiebeloningen, dat beide generatie-CoTs naadloos optimaliseert binnen dezelfde trainingsstap. Door onze redeneerstrategieën toe te passen op het basismodel, Janus-Pro, behalen we superieure prestaties met een verbetering van 13% op T2I-CompBench en 19% op de WISE-benchmark, waarbij we zelfs het state-of-the-art model FLUX overtreffen. De code is beschikbaar op: https://github.com/CaraJ7/T2I-R1.

English

Recent advancements in large language models have demonstrated how chain-of-thought (CoT) and reinforcement learning (RL) can improve performance. However, applying such reasoning strategies to the visual generation domain remains largely unexplored. In this paper, we present T2I-R1, a novel reasoning-enhanced text-to-image generation model, powered by RL with a bi-level CoT reasoning process. Specifically, we identify two levels of CoT that can be utilized to enhance different stages of generation: (1) the semantic-level CoT for high-level planning of the prompt and (2) the token-level CoT for low-level pixel processing during patch-by-patch generation. To better coordinate these two levels of CoT, we introduce BiCoT-GRPO with an ensemble of generation rewards, which seamlessly optimizes both generation CoTs within the same training step. By applying our reasoning strategies to the baseline model, Janus-Pro, we achieve superior performance with 13% improvement on T2I-CompBench and 19% improvement on the WISE benchmark, even surpassing the state-of-the-art model FLUX.1. Code is available at: https://github.com/CaraJ7/T2I-R1

T2I-R1: Versterking van beeldgeneratie met collaboratieve semantische en token-level CoT

T2I-R1: Reinforcing Image Generation with Collaborative Semantic-level and Token-level CoT

Samenvatting

Support