ContextGen: Контекстуальное закрепление компоновки для согласованной генерации множества экземпляров

ContextGen: Contextual Layout Anchoring for Identity-Consistent Multi-Instance Generation

October 13, 2025

Авторы: Ruihang Xu, Dewei Zhou, Fan Ma, Yi Yang

cs.AI

Аннотация

Генерация изображений с несколькими объектами (MIG) остается серьезной проблемой для современных диффузионных моделей из-за ключевых ограничений в достижении точного контроля над компоновкой объектов и сохранении идентичности нескольких различных субъектов. Для решения этих ограничений мы представляем ContextGen, новаторскую архитектуру Diffusion Transformer для генерации нескольких объектов, которая управляется как компоновкой, так и эталонными изображениями. Наш подход включает два ключевых технических вклада: механизм Contextual Layout Anchoring (CLA), который интегрирует композитное изображение компоновки в контекст генерации для надежного закрепления объектов в желаемых позициях, и Identity Consistency Attention (ICA), инновационный механизм внимания, использующий контекстные эталонные изображения для обеспечения согласованности идентичности нескольких объектов. Учитывая отсутствие крупномасштабных, иерархически структурированных наборов данных для этой задачи, мы представляем IMIG-100K, первый набор данных с детальными аннотациями компоновки и идентичности. Многочисленные эксперименты демонстрируют, что ContextGen устанавливает новый эталон, превосходя существующие методы по точности контроля, верности идентичности и общему визуальному качеству.

English

Multi-instance image generation (MIG) remains a significant challenge for modern diffusion models due to key limitations in achieving precise control over object layout and preserving the identity of multiple distinct subjects. To address these limitations, we introduce ContextGen, a novel Diffusion Transformer framework for multi-instance generation that is guided by both layout and reference images. Our approach integrates two key technical contributions: a Contextual Layout Anchoring (CLA) mechanism that incorporates the composite layout image into the generation context to robustly anchor the objects in their desired positions, and Identity Consistency Attention (ICA), an innovative attention mechanism that leverages contextual reference images to ensure the identity consistency of multiple instances. Recognizing the lack of large-scale, hierarchically-structured datasets for this task, we introduce IMIG-100K, the first dataset with detailed layout and identity annotations. Extensive experiments demonstrate that ContextGen sets a new state-of-the-art, outperforming existing methods in control precision, identity fidelity, and overall visual quality.