IV-CoT: Impliciete Visuele Chain-of-Thought voor Structuurbewuste Tekst-naar-Afbeelding Generatie

Samenvatting

Unified multi-modale grote taalmodellen (MLLMs) hebben een sterke kwaliteit in tekst-naar-beeld generatie bereikt, maar worstelen nog steeds met structuurbewuste promptvolging, waarbij objectaantallen, ruimtelijke relaties, attribuutbindingen en grove layout behouden moeten blijven. Wij schrijven deze beperking gedeeltelijk toe aan de verstrengeling van structurele planning en uiterlijkweergave binnen een enkele conditioneringsstroom. Om dit probleem aan te pakken, stellen we Implicit Visual Chain-of-Thought (IV-CoT) voor, een latent visueel redeneerframework voor query-geconditioneerde beeldgeneratie. IV-CoT ontleedt de visuele conditioneringsqueries in een structurele-naar-semantische cascade, waarbij structurele queries eerst een latent visueel plan vormen en semantische queries vervolgens uiterlijk weergeven, geconditioneerd op dit plan. Om de structurele queries te begeleiden, introduceren we alleen-trainings schets supervisie, die hen aanmoedigt om structuur uit schetsen vast te leggen zonder dat schetsextractie of tussentijdse decodering nodig is tijdens inferentie. IV-CoT voert impliciete CoT-redenering uit in een enkele voorwaartse doorgang en behaalt superieure resultaten op GenEval en T2I-CompBench. Visualisaties en analyses tonen aan dat de geleerde structurele en semantische queries complementaire rollen spelen in structuurbewuste generatie.

English

Unified multi-modal large language models (MLLMs) have achieved strong text-to-image generation quality, but still struggle with structure-aware prompt following, where object counts, spatial relations, attribute bindings, and coarse layouts must be preserved. We attribute this limitation in part to the entanglement of structural planning and appearance rendering within a single conditioning stream. To address this issue, we propose Implicit Visual Chain-of-Thought (IV-CoT), a latent visual reasoning framework for query-conditioned image generation. IV-CoT decomposes the visual conditioning queries into a structural-to-semantic cascade, where structural queries first form a latent visual plan and semantic queries then render appearance conditioned on this plan. To guide the structural queries, we introduce training-only sketch supervision, which encourages them to capture structure from sketches without requiring sketch extraction or intermediate decoding at inference time. IV-CoT performs implicit CoT reasoning in a single forward pass and achieves superior results on GenEval and T2I-CompBench. Visualizations and analyses demonstrate that the learned structural and semantic queries play complementary roles in structure-aware generation.