IV-CoT : chaîne de pensée visuelle implicite pour la génération texte-image sensible à la structure

Résumé

Les modèles de langage de grande taille multimodaux unifiés (MLLM) atteignent une qualité élevée de génération texte-image, mais rencontrent encore des difficultés pour le suivi de prompt sensible à la structure, où les comptages d'objets, les relations spatiales, les attributs liés et les dispositions grossières doivent être préservés. Nous attribuons cette limitation en partie à l'enchevêtrement de la planification structurelle et du rendu d'apparence au sein d'un seul flux de conditionnement. Pour résoudre ce problème, nous proposons la Chaîne de Pensée Visuelle Implicite (IV-CoT), un cadre de raisonnement visuel latent pour la génération d'images conditionnée par requête. IV-CoT décompose les requêtes de conditionnement visuel en une cascade structurale à sémantique, où les requêtes structurelles forment d'abord un plan visuel latent, puis les requêtes sémantiques rendent l'apparence en fonction de ce plan. Pour guider les requêtes structurelles, nous introduisons une supervision par esquisse uniquement pendant l'entraînement, qui les encourage à capturer la structure à partir d'esquisses sans nécessiter d'extraction d'esquisse ni de décodage intermédiaire lors de l'inférence. IV-CoT effectue un raisonnement CoT implicite en un seul passage avant et obtient des résultats supérieurs sur GenEval et T2I-CompBench. Les visualisations et analyses démontrent que les requêtes structurelles et sémantiques apprises jouent des rôles complémentaires dans la génération sensible à la structure.

English

Unified multi-modal large language models (MLLMs) have achieved strong text-to-image generation quality, but still struggle with structure-aware prompt following, where object counts, spatial relations, attribute bindings, and coarse layouts must be preserved. We attribute this limitation in part to the entanglement of structural planning and appearance rendering within a single conditioning stream. To address this issue, we propose Implicit Visual Chain-of-Thought (IV-CoT), a latent visual reasoning framework for query-conditioned image generation. IV-CoT decomposes the visual conditioning queries into a structural-to-semantic cascade, where structural queries first form a latent visual plan and semantic queries then render appearance conditioned on this plan. To guide the structural queries, we introduce training-only sketch supervision, which encourages them to capture structure from sketches without requiring sketch extraction or intermediate decoding at inference time. IV-CoT performs implicit CoT reasoning in a single forward pass and achieves superior results on GenEval and T2I-CompBench. Visualizations and analyses demonstrate that the learned structural and semantic queries play complementary roles in structure-aware generation.