IV-CoT: Implizite visuelle Gedankenkette für strukturbewusste Text-zu-Bild-Generierung

Zusammenfassung

Vereinheitlichte multimodale große Sprachmodelle (MLLMs) erzielen eine hohe Qualität bei der Text-zu-Bild-Generierung, haben aber weiterhin Schwierigkeiten mit der strukturbewussten Befolgung von Prompts, bei der Objektanzahlen, räumliche Beziehungen, Attributbindungen und grobe Layouts erhalten bleiben müssen. Wir führen diese Einschränkung teilweise auf die Vermischung von struktureller Planung und Erscheinungsbildrendering in einem einzigen Konditionierungsstrom zurück. Um dieses Problem zu adressieren, schlagen wir die Implicit Visual Chain-of-Thought (IV-CoT) vor, ein latentes visuelles Reasoning-Framework für die abfragekonditionierte Bildgenerierung. IV-CoT zerlegt die visuellen Konditionierungsanfragen in eine strukturell-zu-semantische Kaskade, bei der strukturelle Anfragen zunächst einen latenten visuellen Plan bilden und semantische Anfragen dann das Erscheinungsbild, konditioniert auf diesen Plan, rendern. Zur Steuerung der strukturellen Anfragen führen wir eine nur auf das Training beschränkte Skizzenüberwachung ein, die diese dazu anregt, Struktur aus Skizzen zu erfassen, ohne dass zur Inferenzzeit eine Skizzenextraktion oder Zwischendekodierung erforderlich ist. IV-CoT führt implizites CoT-Reasoning in einem einzigen Vorwärtsdurchlauf durch und erzielt überlegene Ergebnisse auf GenEval und T2I-CompBench. Visualisierungen und Analysen zeigen, dass die erlernten strukturellen und semantischen Anfragen komplementäre Rollen bei der strukturbewussten Generierung spielen.

English

Unified multi-modal large language models (MLLMs) have achieved strong text-to-image generation quality, but still struggle with structure-aware prompt following, where object counts, spatial relations, attribute bindings, and coarse layouts must be preserved. We attribute this limitation in part to the entanglement of structural planning and appearance rendering within a single conditioning stream. To address this issue, we propose Implicit Visual Chain-of-Thought (IV-CoT), a latent visual reasoning framework for query-conditioned image generation. IV-CoT decomposes the visual conditioning queries into a structural-to-semantic cascade, where structural queries first form a latent visual plan and semantic queries then render appearance conditioned on this plan. To guide the structural queries, we introduce training-only sketch supervision, which encourages them to capture structure from sketches without requiring sketch extraction or intermediate decoding at inference time. IV-CoT performs implicit CoT reasoning in a single forward pass and achieves superior results on GenEval and T2I-CompBench. Visualizations and analyses demonstrate that the learned structural and semantic queries play complementary roles in structure-aware generation.