Pense em Traços, Não em Pixels: Geração de Imagens Orientada a Processos por Meio de Raciocínio Entrelaçado
Think in Strokes, Not Pixels: Process-Driven Image Generation via Interleaved Reasoning
April 8, 2026
Autores: Lei Zhang, Junjiao Tian, Zhipeng Fan, Kunpeng Li, Jialiang Wang, Weifeng Chen, Markos Georgopoulos, Felix Juefei-Xu, Yuxiang Bao, Julian McAuley, Manling Li, Zecheng He
cs.AI
Resumo
Os seres humanos pintam imagens de forma incremental: planejam um layout global, esboçam um rascunho grosseiro, inspecionam e refinam detalhes e, mais importante, cada etapa é fundamentada nos estados visuais em evolução. No entanto, os modelos multimodais unificados treinados em conjuntos de dados intercalados texto-imagem também podem imaginar a cadeia de estados intermediários? Neste artigo, introduzimos a geração de imagens orientada por processos, um paradigma de múltiplas etapas que decompõe a síntese em uma trajetória de raciocínio intercalada de pensamentos e ações. Em vez de gerar imagens em uma única etapa, nossa abordagem se desenrola ao longo de múltiplas iterações, cada uma consistindo em 4 fases: planeamento textual, esboço visual, reflexão textual e refinamento visual. O raciocínio textual condiciona explicitamente como o estado visual deve evoluir, enquanto o intermediário visual gerado, por sua vez, restringe e fundamenta a próxima rodada de raciocínio textual. Um desafio central da geração orientada por processos decorre da ambiguidade dos estados intermediários: como podem os modelos avaliar cada imagem parcialmente completa? Abordamos isso através de supervisão densa e passo a passo que mantém duas restrições complementares: para os estados visuais intermediários, aplicamos a consistência espacial e semântica; para os estados textuais intermediários, preservamos o conhecimento visual prévio, permitindo que o modelo identifique e corrija elementos que violem a instrução. Isso torna o processo de geração explícito, interpretável e diretamente supervisionável. Para validar o método proposto, conduzimos experimentos sob vários benchmarks de geração de texto para imagem.
English
Humans paint images incrementally: they plan a global layout, sketch a coarse draft, inspect, and refine details, and most importantly, each step is grounded in the evolving visual states. However, can unified multimodal models trained on text-image interleaved datasets also imagine the chain of intermediate states? In this paper, we introduce process-driven image generation, a multi-step paradigm that decomposes synthesis into an interleaved reasoning trajectory of thoughts and actions. Rather than generating images in a single step, our approach unfolds across multiple iterations, each consisting of 4 stages: textual planning, visual drafting, textual reflection, and visual refinement. The textual reasoning explicitly conditions how the visual state should evolve, while the generated visual intermediate in turn constrains and grounds the next round of textual reasoning. A core challenge of process-driven generation stems from the ambiguity of intermediate states: how can models evaluate each partially-complete image? We address this through dense, step-wise supervision that maintains two complementary constraints: for the visual intermediate states, we enforce the spatial and semantic consistency; for the textual intermediate states, we preserve the prior visual knowledge while enabling the model to identify and correct prompt-violating elements. This makes the generation process explicit, interpretable, and directly supervisable. To validate proposed method, we conduct experiments under various text-to-image generation benchmarks.