Penser en traits, pas en pixels : Génération d'images pilotée par le processus via un raisonnement entrelacé
Think in Strokes, Not Pixels: Process-Driven Image Generation via Interleaved Reasoning
April 8, 2026
Auteurs: Lei Zhang, Junjiao Tian, Zhipeng Fan, Kunpeng Li, Jialiang Wang, Weifeng Chen, Markos Georgopoulos, Felix Juefei-Xu, Yuxiang Bao, Julian McAuley, Manling Li, Zecheng He
cs.AI
Résumé
Les humains peignent des images de manière incrémentale : ils planifient une composition globale, esquissent une ébauche grossière, inspectent et affinent les détails, et surtout, chaque étape s'appuie sur les états visuels en évolution. Cependant, les modèles multimodaux unifiés entraînés sur des jeux de données entrelaçant texte et images peuvent-ils également imaginer la chaîne des états intermédiaires ? Dans cet article, nous introduisons la génération d'images pilotée par le processus, un paradigme multi-étapes qui décompose la synthèse en une trajectoire de raisonnement entrelacée de pensées et d'actions. Au lieu de générer des images en une seule étape, notre approche se déploie sur plusieurs itérations, chacune consistant en 4 phases : planification textuelle, ébauche visuelle, réflexion textuelle et raffinement visuel. Le raisonnement textuel conditionne explicitement la façon dont l'état visuel doit évoluer, tandis que l'intermédiaire visuel généré contraint et ancre à son tour le prochain cycle de raisonnement textuel. Un défi central de la génération pilotée par le processus provient de l'ambiguïté des états intermédiaires : comment les modèles peuvent-ils évaluer chaque image partiellement complète ? Nous abordons ce problème par une supervision dense et étape par étape qui maintient deux contraintes complémentaires : pour les états intermédiaires visuels, nous imposons une cohérence spatiale et sémantique ; pour les états intermédiaires textuels, nous préservons la connaissance visuelle antérieure tout en permettant au modèle d'identifier et de corriger les éléments qui violent l'invite. Cela rend le processus de génération explicite, interprétable et directement supervisable. Pour valuer la méthode proposée, nous menons des expériences sur divers benchmarks de génération d'images à partir de texte.
English
Humans paint images incrementally: they plan a global layout, sketch a coarse draft, inspect, and refine details, and most importantly, each step is grounded in the evolving visual states. However, can unified multimodal models trained on text-image interleaved datasets also imagine the chain of intermediate states? In this paper, we introduce process-driven image generation, a multi-step paradigm that decomposes synthesis into an interleaved reasoning trajectory of thoughts and actions. Rather than generating images in a single step, our approach unfolds across multiple iterations, each consisting of 4 stages: textual planning, visual drafting, textual reflection, and visual refinement. The textual reasoning explicitly conditions how the visual state should evolve, while the generated visual intermediate in turn constrains and grounds the next round of textual reasoning. A core challenge of process-driven generation stems from the ambiguity of intermediate states: how can models evaluate each partially-complete image? We address this through dense, step-wise supervision that maintains two complementary constraints: for the visual intermediate states, we enforce the spatial and semantic consistency; for the textual intermediate states, we preserve the prior visual knowledge while enabling the model to identify and correct prompt-violating elements. This makes the generation process explicit, interpretable, and directly supervisable. To validate proposed method, we conduct experiments under various text-to-image generation benchmarks.