CoCo: Код как CoT для предпросмотра текст-изображение и генерации редких концептов
CoCo: Code as CoT for Text-to-Image Preview and Rare Concept Generation
March 9, 2026
Авторы: Haodong Li, Chunmei Qing, Huanyu Zhang, Dongzhi Jiang, Yihang Zou, Hongbo Peng, Dingming Li, Yuhong Dai, ZePeng Lin, Juanxi Tian, Yi Zhou, Siqi Dai, Jingwei Wu
cs.AI
Аннотация
Последние достижения в области унифицированных мультимодальных моделей (UMM) значительно продвинули генерацию изображений по текстовому описанию (T2I), особенно благодаря интеграции рассуждений по цепочке мыслей (CoT). Однако существующие методы T2I на основе CoT в значительной степени опираются на абстрактное планирование на естественном языке, которому не хватает точности, необходимой для сложных пространственных композиций, структурированных визуальных элементов и плотного текстового содержимого. В данной работе мы предлагаем CoCo (Code-as-CoT), фреймворк рассуждений, управляемый кодом, который представляет процесс рассуждения в виде исполняемого кода, обеспечивая явное и проверяемое промежуточное планирование для генерации изображений. Получив текстовый промпт, CoCo сначала генерирует исполняемый код, который определяет структурную композицию сцены; этот код затем выполняется в изолированной среде для рендеринга детерминированного чернового изображения. Затем модель уточняет этот черновик посредством детального редактирования изображения для получения окончательного высококачественного результата. Для поддержки данной парадигмы обучения мы создали CoCo-10K, курируемый набор данных, содержащий структурированные пары «черновик-финальное изображение», предназначенные для обучения как построению структурированных черновиков, так и корректирующему визуальному уточнению. Эмпирические оценки на StructT2IBench, OneIG-Bench и LongText-Bench показывают, что CoCo достигает улучшений на +68,83%, +54,8% и +41,23% по сравнению с прямой генерацией, одновременно превосходя другие методы генерации, использующие CoT. Эти результаты демонстрируют, что исполняемый код является эффективной и надежной парадигмой рассуждений для точной, контролируемой и структурированной генерации изображений по тексту. Код доступен по адресу: https://github.com/micky-li-hd/CoCo
English
Recent advancements in Unified Multimodal Models (UMMs) have significantly advanced text-to-image (T2I) generation, particularly through the integration of Chain-of-Thought (CoT) reasoning. However, existing CoT-based T2I methods largely rely on abstract natural-language planning, which lacks the precision required for complex spatial layouts, structured visual elements, and dense textual content. In this work, we propose CoCo (Code-as-CoT), a code-driven reasoning framework that represents the reasoning process as executable code, enabling explicit and verifiable intermediate planning for image generation. Given a text prompt, CoCo first generates executable code that specifies the structural layout of the scene, which is then executed in a sandboxed environment to render a deterministic draft image. The model subsequently refines this draft through fine-grained image editing to produce the final high-fidelity result. To support this training paradigm, we construct CoCo-10K, a curated dataset containing structured draft-final image pairs designed to teach both structured draft construction and corrective visual refinement. Empirical evaluations on StructT2IBench, OneIG-Bench, and LongText-Bench show that CoCo achieves improvements of +68.83%, +54.8%, and +41.23% over direct generation, while also outperforming other generation methods empowered by CoT. These results demonstrate that executable code is an effective and reliable reasoning paradigm for precise, controllable, and structured text-to-image generation. The code is available at: https://github.com/micky-li-hd/CoCo