CoCo: Código como CoT para Pré-visualização de Texto para Imagem e Geração de Conceitos Raros
CoCo: Code as CoT for Text-to-Image Preview and Rare Concept Generation
March 9, 2026
Autores: Haodong Li, Chunmei Qing, Huanyu Zhang, Dongzhi Jiang, Yihang Zou, Hongbo Peng, Dingming Li, Yuhong Dai, ZePeng Lin, Juanxi Tian, Yi Zhou, Siqi Dai, Jingwei Wu
cs.AI
Resumo
Os avanços recentes em Modelos Multimodais Unificados (UMMs) têm impulsionado significativamente a geração de texto para imagem (T2I), particularmente através da integração do raciocínio em Cadeia de Pensamento (CoT). No entanto, os métodos existentes de T2I baseados em CoT dependem amplamente de planeamento em linguagem natural abstrata, que carece da precisão necessária para layouts espaciais complexos, elementos visuais estruturados e conteúdo textual denso. Neste trabalho, propomos o CoCo (Código-como-CoT), uma estrutura de raciocínio orientada a código que representa o processo de raciocínio como código executável, permitindo um planeamento intermédio explícito e verificável para a geração de imagens. Dado um *prompt* de texto, o CoCo gera primeiro código executável que especifica o layout estrutural da cena, o qual é depois executado num ambiente isolado (*sandboxed*) para renderizar um rascunho de imagem determinístico. O modelo refina subsequentemente este rascunho através de edição de imagem de granularidade fina para produzir o resultado final de alta fidelidade. Para suportar este paradigma de treino, construímos o CoCo-10K, um conjunto de dados curado contendo pares de imagem rascunho-final estruturados, concebido para ensinar tanto a construção estruturada do rascunho como o refinamento visual corretivo. Avaliações empíricas no StructT2IBench, OneIG-Bench e LongText-Bench mostram que o CoCo alcança melhorias de +68,83%, +54,8% e +41,23% face à geração direta, superando também outros métodos de geração potenciados por CoT. Estes resultados demonstram que o código executável é um paradigma de raciocínio eficaz e fiável para a geração de texto para imagem precisa, controlável e estruturada. O código está disponível em: https://github.com/micky-li-hd/CoCo
English
Recent advancements in Unified Multimodal Models (UMMs) have significantly advanced text-to-image (T2I) generation, particularly through the integration of Chain-of-Thought (CoT) reasoning. However, existing CoT-based T2I methods largely rely on abstract natural-language planning, which lacks the precision required for complex spatial layouts, structured visual elements, and dense textual content. In this work, we propose CoCo (Code-as-CoT), a code-driven reasoning framework that represents the reasoning process as executable code, enabling explicit and verifiable intermediate planning for image generation. Given a text prompt, CoCo first generates executable code that specifies the structural layout of the scene, which is then executed in a sandboxed environment to render a deterministic draft image. The model subsequently refines this draft through fine-grained image editing to produce the final high-fidelity result. To support this training paradigm, we construct CoCo-10K, a curated dataset containing structured draft-final image pairs designed to teach both structured draft construction and corrective visual refinement. Empirical evaluations on StructT2IBench, OneIG-Bench, and LongText-Bench show that CoCo achieves improvements of +68.83%, +54.8%, and +41.23% over direct generation, while also outperforming other generation methods empowered by CoT. These results demonstrate that executable code is an effective and reliable reasoning paradigm for precise, controllable, and structured text-to-image generation. The code is available at: https://github.com/micky-li-hd/CoCo