Pensar en Trazos, No en Píxeles: Generación de Imágenes Guiada por Procesos mediante Razonamiento Entrelazado

Resumen

Los seres humanos pintan imágenes de manera incremental: planifican un diseño global, bosquejan un borrador tosco, inspeccionan y refinan los detalles y, lo que es más importante, cada paso se basa en los estados visuales en evolución. Sin embargo, ¿pueden los modelos multimodales unificados entrenados en conjuntos de datos intercalados de texto e imagen también imaginar la cadena de estados intermedios? En este artículo, presentamos la generación de imágenes impulsada por procesos, un paradigma de múltiples pasos que descompone la síntesis en una trayectoria de razonamiento intercalada de pensamientos y acciones. En lugar de generar imágenes en un solo paso, nuestro enfoque se desarrolla a lo largo de múltiples iteraciones, cada una de las cuales consta de 4 etapas: planificación textual, bosquejo visual, reflexión textual y refinamiento visual. El razonamiento textual condiciona explícitamente cómo debe evolucionar el estado visual, mientras que el resultado visual intermedio generado, a su vez, restringe y fundamenta la siguiente ronda de razonamiento textual. Un desafío central de la generación impulsada por procesos surge de la ambigüedad de los estados intermedios: ¿cómo pueden los modelos evaluar cada imagen parcialmente completa? Abordamos esto mediante una supervisión densa y paso a paso que mantiene dos restricciones complementarias: para los estados visuales intermedios, aplicamos la consistencia espacial y semántica; para los estados textuales intermedios, preservamos el conocimiento visual previo mientras permitimos que el modelo identifique y corrija elementos que violan la instrucción inicial. Esto hace que el proceso de generación sea explícito, interpretable y directamente supervisable. Para validar el método propuesto, realizamos experimentos en varios benchmarks de generación de imágenes a partir de texto.

English

Humans paint images incrementally: they plan a global layout, sketch a coarse draft, inspect, and refine details, and most importantly, each step is grounded in the evolving visual states. However, can unified multimodal models trained on text-image interleaved datasets also imagine the chain of intermediate states? In this paper, we introduce process-driven image generation, a multi-step paradigm that decomposes synthesis into an interleaved reasoning trajectory of thoughts and actions. Rather than generating images in a single step, our approach unfolds across multiple iterations, each consisting of 4 stages: textual planning, visual drafting, textual reflection, and visual refinement. The textual reasoning explicitly conditions how the visual state should evolve, while the generated visual intermediate in turn constrains and grounds the next round of textual reasoning. A core challenge of process-driven generation stems from the ambiguity of intermediate states: how can models evaluate each partially-complete image? We address this through dense, step-wise supervision that maintains two complementary constraints: for the visual intermediate states, we enforce the spatial and semantic consistency; for the textual intermediate states, we preserve the prior visual knowledge while enabling the model to identify and correct prompt-violating elements. This makes the generation process explicit, interpretable, and directly supervisable. To validate proposed method, we conduct experiments under various text-to-image generation benchmarks.

Pensar en Trazos, No en Píxeles: Generación de Imágenes Guiada por Procesos mediante Razonamiento Entrelazado

Think in Strokes, Not Pixels: Process-Driven Image Generation via Interleaved Reasoning

Resumen

Support