Repulsão Instantânea no Espaço Contextual para Riqueza de Diversidade em Transformadores de Difusão

On-the-fly Repulsion in the Contextual Space for Rich Diversity in Diffusion Transformers

March 30, 2026

Autores: Omer Dahary, Benaya Koren, Daniel Garibi, Daniel Cohen-Or

cs.AI

Resumo

Os modernos modelos de difusão Texto-para-Imagem (T2I) alcançaram um alinhamento semântico notável, mas frequentemente sofrem com uma falta significativa de variedade, convergindo para um conjunto restrito de soluções visuais para um determinado prompt. Este viés de tipicidade representa um desafio para aplicações criativas que exigem uma ampla gama de resultados generativos. Identificamos um trade-off fundamental nas abordagens atuais para a diversidade: modificar as entradas do modelo requer uma otimização dispendiosa para incorporar o feedback do caminho generativo. Em contraste, atuar sobre *latents* intermediários espacialmente comprometidos tende a perturbar a estrutura visual em formação, levando a artefatos. Neste trabalho, propomos aplicar a repulsão no Espaço Contextual como uma nova estrutura para alcançar uma diversidade rica em Transformadores de Difusão. Ao intervir nos canais de atenção multimodal, aplicamos uma repulsão em tempo real durante o *forward pass* do *transformer*, injetando a intervenção entre os blocos onde o condicionamento textual é enriquecido com a estrutura de imagem emergente. Isso permite redirecionar a trajetória de orientação após ela ser informada estruturalmente, mas antes que a composição seja fixada. Nossos resultados demonstram que a repulsão no Espaço Contextual produz uma diversidade significativamente mais rica sem sacrificar a fidelidade visual ou a aderência semântica. Além disso, nosso método é singularmente eficiente, impondo uma pequena sobrecarga computacional, permanecendo eficaz mesmo em modelos modernos "Turbo" e destilados, onde as intervenções tradicionais baseadas em trajetória normalmente falham.

English

Modern Text-to-Image (T2I) diffusion models have achieved remarkable semantic alignment, yet they often suffer from a significant lack of variety, converging on a narrow set of visual solutions for any given prompt. This typicality bias presents a challenge for creative applications that require a wide range of generative outcomes. We identify a fundamental trade-off in current approaches to diversity: modifying model inputs requires costly optimization to incorporate feedback from the generative path. In contrast, acting on spatially-committed intermediate latents tends to disrupt the forming visual structure, leading to artifacts. In this work, we propose to apply repulsion in the Contextual Space as a novel framework for achieving rich diversity in Diffusion Transformers. By intervening in the multimodal attention channels, we apply on-the-fly repulsion during the transformer's forward pass, injecting the intervention between blocks where text conditioning is enriched with emergent image structure. This allows for redirecting the guidance trajectory after it is structurally informed but before the composition is fixed. Our results demonstrate that repulsion in the Contextual Space produces significantly richer diversity without sacrificing visual fidelity or semantic adherence. Furthermore, our method is uniquely efficient, imposing a small computational overhead while remaining effective even in modern "Turbo" and distilled models where traditional trajectory-based interventions typically fail.