Динамическое отталкивание в контекстном пространстве для обеспечения богатого разнообразия в диффузионных трансформерах

On-the-fly Repulsion in the Contextual Space for Rich Diversity in Diffusion Transformers

March 30, 2026

Авторы: Omer Dahary, Benaya Koren, Daniel Garibi, Daniel Cohen-Or

cs.AI

Аннотация

Современные диффузионные модели для генерации изображений по тексту (Text-to-Image, T2I) демонстрируют впечатляющую семантическую согласованность, однако зачастую страдают от значительного недостатка разнообразия, сходясь к узкому набору визуальных решений для каждого заданного промпта. Эта склонность к типичности представляет проблему для творческих приложений, требующих широкого спектра генеративных результатов. Мы выявляем фундаментальный компромисс в современных подходах к увеличению разнообразия: модификация входных данных модели требует затратной оптимизации для учета обратной связи от генеративного пути. В противоположность этому, воздействие на пространственно-детерминированные промежуточные латентные представления склонно разрушать формирующуюся визуальную структуру, приводя к артефактам. В данной работе мы предлагаем применять отталкивание в контекстном пространстве в качестве новой концепции для достижения богатого разнообразия в диффузионных трансформерах. Вмешиваясь в каналы мультимодального внимания, мы применяем отталкивание "на лету" во время прямого прохода трансформера, внедряя интервенцию между блоками, где текстовое кондиционирование обогащается возникающей структурой изображения. Это позволяет перенаправлять траекторию управления после того, как она структурно сформирована, но до фиксации композиции. Наши результаты демонстрируют, что отталкивание в контекстном пространстве порождает существенно более богатое разнообразие без ущерба для визуального качества или семантической точности. Более того, наш метод отличается уникальной эффективностью, добавляя незначительные вычислительные затраты и оставаясь действенным даже в современных "турбо" и дистиллированных моделях, где традиционные интервенции, основанные на траекториях, обычно терпят неудачу.

English

Modern Text-to-Image (T2I) diffusion models have achieved remarkable semantic alignment, yet they often suffer from a significant lack of variety, converging on a narrow set of visual solutions for any given prompt. This typicality bias presents a challenge for creative applications that require a wide range of generative outcomes. We identify a fundamental trade-off in current approaches to diversity: modifying model inputs requires costly optimization to incorporate feedback from the generative path. In contrast, acting on spatially-committed intermediate latents tends to disrupt the forming visual structure, leading to artifacts. In this work, we propose to apply repulsion in the Contextual Space as a novel framework for achieving rich diversity in Diffusion Transformers. By intervening in the multimodal attention channels, we apply on-the-fly repulsion during the transformer's forward pass, injecting the intervention between blocks where text conditioning is enriched with emergent image structure. This allows for redirecting the guidance trajectory after it is structurally informed but before the composition is fixed. Our results demonstrate that repulsion in the Contextual Space produces significantly richer diversity without sacrificing visual fidelity or semantic adherence. Furthermore, our method is uniquely efficient, imposing a small computational overhead while remaining effective even in modern "Turbo" and distilled models where traditional trajectory-based interventions typically fail.