IV-CoT: Cadena de Pensamiento Visual Implícita para la Generación de Imágenes a partir de Texto Consciente de la Estructura

Resumen

Los modelos de lenguaje grandes multimodales unificados (MLLMs) han logrado una alta calidad en la generación de texto a imagen, pero aún enfrentan dificultades en el seguimiento de instrucciones con conciencia estructural, donde deben preservarse el conteo de objetos, las relaciones espaciales, las vinculaciones de atributos y los diseños aproximados. Atribuimos esta limitación en parte al enredo de la planificación estructural y la representación de apariencia dentro de un flujo de condicionamiento único. Para abordar este problema, proponemos la Cadena de Pensamiento Visual Implícita (IV-CoT), un marco de razonamiento visual latente para la generación de imágenes condicionadas por consultas. IV-CoT descompone las consultas de condicionamiento visual en una cascada de lo estructural a lo semántico, donde las consultas estructurales primero forman un plan visual latente y luego las consultas semánticas representan la apariencia condicionada por este plan. Para guiar las consultas estructurales, introducimos una supervisión de bocetos solo en entrenamiento, que las alienta a capturar la estructura a partir de bocetos sin requerir extracción de bocetos ni decodificación intermedia en el momento de la inferencia. IV-CoT realiza un razonamiento CoT implícito en una sola pasada hacia adelante y obtiene resultados superiores en GenEval y T2I-CompBench. Las visualizaciones y análisis demuestran que las consultas estructurales y semánticas aprendidas desempeñan roles complementarios en la generación con conciencia estructural.

English

Unified multi-modal large language models (MLLMs) have achieved strong text-to-image generation quality, but still struggle with structure-aware prompt following, where object counts, spatial relations, attribute bindings, and coarse layouts must be preserved. We attribute this limitation in part to the entanglement of structural planning and appearance rendering within a single conditioning stream. To address this issue, we propose Implicit Visual Chain-of-Thought (IV-CoT), a latent visual reasoning framework for query-conditioned image generation. IV-CoT decomposes the visual conditioning queries into a structural-to-semantic cascade, where structural queries first form a latent visual plan and semantic queries then render appearance conditioned on this plan. To guide the structural queries, we introduce training-only sketch supervision, which encourages them to capture structure from sketches without requiring sketch extraction or intermediate decoding at inference time. IV-CoT performs implicit CoT reasoning in a single forward pass and achieves superior results on GenEval and T2I-CompBench. Visualizations and analyses demonstrate that the learned structural and semantic queries play complementary roles in structure-aware generation.