ContextGen: Kontextuelle Layout-Verankerung für identitätskonsistente Multi-Instanz-Generierung
ContextGen: Contextual Layout Anchoring for Identity-Consistent Multi-Instance Generation
October 13, 2025
papers.authors: Ruihang Xu, Dewei Zhou, Fan Ma, Yi Yang
cs.AI
papers.abstract
Die Multi-Instanz-Bildgenerierung (MIG) bleibt eine bedeutende Herausforderung für moderne Diffusionsmodelle, insbesondere aufgrund von zentralen Einschränkungen bei der präzisen Steuerung der Objektanordnung und der Bewahrung der Identität mehrerer unterschiedlicher Subjekte. Um diese Einschränkungen zu adressieren, stellen wir ContextGen vor, ein neuartiges Diffusion-Transformer-Framework für die Multi-Instanz-Generierung, das sowohl durch Layouts als auch durch Referenzbilder gesteuert wird. Unser Ansatz integriert zwei wesentliche technische Beiträge: einen Contextual Layout Anchoring (CLA)-Mechanismus, der das zusammengesetzte Layoutbild in den Generierungskontext einbindet, um die Objekte robust in ihren gewünschten Positionen zu verankern, und Identity Consistency Attention (ICA), einen innovativen Aufmerksamkeitsmechanismus, der kontextuelle Referenzbilder nutzt, um die Identitätskonsistenz mehrerer Instanzen sicherzustellen. Angesichts des Mangels an groß angelegten, hierarchisch strukturierten Datensätzen für diese Aufgabe führen wir IMIG-100K ein, den ersten Datensatz mit detaillierten Layout- und Identitätsannotationen. Umfangreiche Experimente zeigen, dass ContextGen einen neuen Stand der Technik setzt und bestehende Methoden in Bezug auf Steuerungspräzision, Identitätstreue und Gesamtbildqualität übertrifft.
English
Multi-instance image generation (MIG) remains a significant challenge for
modern diffusion models due to key limitations in achieving precise control
over object layout and preserving the identity of multiple distinct subjects.
To address these limitations, we introduce ContextGen, a novel Diffusion
Transformer framework for multi-instance generation that is guided by both
layout and reference images. Our approach integrates two key technical
contributions: a Contextual Layout Anchoring (CLA) mechanism that incorporates
the composite layout image into the generation context to robustly anchor the
objects in their desired positions, and Identity Consistency Attention (ICA),
an innovative attention mechanism that leverages contextual reference images to
ensure the identity consistency of multiple instances. Recognizing the lack of
large-scale, hierarchically-structured datasets for this task, we introduce
IMIG-100K, the first dataset with detailed layout and identity annotations.
Extensive experiments demonstrate that ContextGen sets a new state-of-the-art,
outperforming existing methods in control precision, identity fidelity, and
overall visual quality.