ContextGen: Ancoraggio Contestuale del Layout per la Generazione Multi-Istanza con Identità Coerente

ContextGen: Contextual Layout Anchoring for Identity-Consistent Multi-Instance Generation

October 13, 2025

Autori: Ruihang Xu, Dewei Zhou, Fan Ma, Yi Yang

cs.AI

Abstract

La generazione di immagini multi-istanza (MIG) rimane una sfida significativa per i moderni modelli di diffusione a causa di limitazioni chiave nel raggiungere un controllo preciso sul layout degli oggetti e nel preservare l'identità di più soggetti distinti. Per affrontare queste limitazioni, introduciamo ContextGen, un innovativo framework Diffusion Transformer per la generazione multi-istanza guidato sia dal layout che da immagini di riferimento. Il nostro approccio integra due contributi tecnici fondamentali: un meccanismo di Ancoraggio Contestuale del Layout (CLA) che incorpora l'immagine composita del layout nel contesto di generazione per ancorare in modo robusto gli oggetti nelle posizioni desiderate, e l'Attenzione per la Consistenza dell'Identità (ICA), un meccanismo di attenzione innovativo che sfrutta le immagini di riferimento contestuali per garantire la consistenza dell'identità di più istanze. Riconoscendo la mancanza di dataset su larga scala e strutturati gerarchicamente per questo compito, introduciamo IMIG-100K, il primo dataset con annotazioni dettagliate di layout e identità. Esperimenti estensivi dimostrano che ContextGen stabilisce un nuovo stato dell'arte, superando i metodi esistenti in precisione di controllo, fedeltà dell'identità e qualità visiva complessiva.

English

Multi-instance image generation (MIG) remains a significant challenge for modern diffusion models due to key limitations in achieving precise control over object layout and preserving the identity of multiple distinct subjects. To address these limitations, we introduce ContextGen, a novel Diffusion Transformer framework for multi-instance generation that is guided by both layout and reference images. Our approach integrates two key technical contributions: a Contextual Layout Anchoring (CLA) mechanism that incorporates the composite layout image into the generation context to robustly anchor the objects in their desired positions, and Identity Consistency Attention (ICA), an innovative attention mechanism that leverages contextual reference images to ensure the identity consistency of multiple instances. Recognizing the lack of large-scale, hierarchically-structured datasets for this task, we introduce IMIG-100K, the first dataset with detailed layout and identity annotations. Extensive experiments demonstrate that ContextGen sets a new state-of-the-art, outperforming existing methods in control precision, identity fidelity, and overall visual quality.