CoCo: Codice come CoT per l'Anteprima da Testo a Immagine e la Generazione di Concetti Rari

Abstract

I recenti progressi nei Modelli Multimodali Unificati (UMM) hanno fatto avanzare significativamente la generazione di immagini da testo (T2I), in particolare grazie all'integrazione del ragionamento a catena di pensieri (CoT). Tuttavia, i metodi T2I basati su CoT esistenti si basano in larga misura su una pianificazione astratta in linguaggio naturale, che manca della precisione richiesta per layout spaziali complessi, elementi visivi strutturati e contenuti testuali densi. In questo lavoro, proponiamo CoCo (Code-as-CoT), un framework di ragionamento guidato dal codice che rappresenta il processo di ragionamento come codice eseguibile, abilitando una pianificazione intermedia esplicita e verificabile per la generazione di immagini. Dato un prompt testuale, CoCo genera prima del codice eseguibile che specifica il layout strutturale della scena, che viene poi eseguito in un ambiente sandbox per produrre una bozza d'immagine deterministica. Il modello successivamente affina questa bozza attraverso un editing fine dell'immagine per produrre il risultato finale ad alta fedeltà. Per supportare questo paradigma di addestramento, abbiamo costruito CoCo-10K, un dataset curato contenente coppie di immagini bozza-finale strutturate, progettato per insegnare sia la costruzione strutturata della bozza che il perfezionamento visivo correttivo. Le valutazioni empiriche su StructT2IBench, OneIG-Bench e LongText-Bench mostrano che CoCo raggiunge miglioramenti rispettivamente del +68,83%, +54,8% e +41,23% rispetto alla generazione diretta, superando anche altri metodi di generazione potenziati da CoT. Questi risultati dimostrano che il codice eseguibile è un paradigma di ragionamento efficace e affidabile per una generazione di immagini da testo precisa, controllabile e strutturata. Il codice è disponibile all'indirizzo: https://github.com/micky-li-hd/CoCo

English

Recent advancements in Unified Multimodal Models (UMMs) have significantly advanced text-to-image (T2I) generation, particularly through the integration of Chain-of-Thought (CoT) reasoning. However, existing CoT-based T2I methods largely rely on abstract natural-language planning, which lacks the precision required for complex spatial layouts, structured visual elements, and dense textual content. In this work, we propose CoCo (Code-as-CoT), a code-driven reasoning framework that represents the reasoning process as executable code, enabling explicit and verifiable intermediate planning for image generation. Given a text prompt, CoCo first generates executable code that specifies the structural layout of the scene, which is then executed in a sandboxed environment to render a deterministic draft image. The model subsequently refines this draft through fine-grained image editing to produce the final high-fidelity result. To support this training paradigm, we construct CoCo-10K, a curated dataset containing structured draft-final image pairs designed to teach both structured draft construction and corrective visual refinement. Empirical evaluations on StructT2IBench, OneIG-Bench, and LongText-Bench show that CoCo achieves improvements of +68.83%, +54.8%, and +41.23% over direct generation, while also outperforming other generation methods empowered by CoT. These results demonstrate that executable code is an effective and reliable reasoning paradigm for precise, controllable, and structured text-to-image generation. The code is available at: https://github.com/micky-li-hd/CoCo

CoCo: Codice come CoT per l'Anteprima da Testo a Immagine e la Generazione di Concetti Rari

CoCo: Code as CoT for Text-to-Image Preview and Rare Concept Generation

Abstract

Support