Repulsión Dinámica en el Espacio Contextual para una Rica Diversidad en Transformadores de Difusión

On-the-fly Repulsion in the Contextual Space for Rich Diversity in Diffusion Transformers

March 30, 2026

Autores: Omer Dahary, Benaya Koren, Daniel Garibi, Daniel Cohen-Or

cs.AI

Resumen

Los modelos modernos de difusión Texto-Imagen (T2I) han logrado una alineación semántica notable, pero a menudo adolecen de una falta significativa de variedad, convergiendo en un conjunto reducido de soluciones visuales para cualquier indicación dada. Este sesgo de tipicidad representa un desafío para las aplicaciones creativas que requieren una amplia gama de resultados generativos. Identificamos un compromiso fundamental en los enfoques actuales para la diversidad: modificar las entradas del modelo requiere una costosa optimización para incorporar retroalimentación de la ruta generativa. Por el contrario, actuar sobre los latentes intermedios con estructura espacial ya comprometida tiende a alterar la estructura visual en formación, lo que genera artefactos. En este trabajo, proponemos aplicar la repulsión en el Espacio Contextual como un marco novedoso para lograr una diversidad rica en Transformadores de Difusión. Al intervenir en los canales de atención multimodal, aplicamos repulsión sobre la marcha durante el paso hacia adelante del transformador, inyectando la intervención entre bloques donde el condicionamiento textual se enriquece con la estructura de imagen emergente. Esto permite redirigir la trayectoria de guía después de que está estructuralmente informada pero antes de que la composición se fije. Nuestros resultados demuestran que la repulsión en el Espacio Contextual produce una diversidad significativamente más rica sin sacrificar la fidelidad visual o la adherencia semántica. Además, nuestro método es singularmente eficiente, imponiendo una pequeña sobrecarga computacional mientras se mantiene efectivo incluso en modelos modernos "Turbo" y destilados, donde las intervenciones tradicionales basadas en trayectorias suelen fallar.

English

Modern Text-to-Image (T2I) diffusion models have achieved remarkable semantic alignment, yet they often suffer from a significant lack of variety, converging on a narrow set of visual solutions for any given prompt. This typicality bias presents a challenge for creative applications that require a wide range of generative outcomes. We identify a fundamental trade-off in current approaches to diversity: modifying model inputs requires costly optimization to incorporate feedback from the generative path. In contrast, acting on spatially-committed intermediate latents tends to disrupt the forming visual structure, leading to artifacts. In this work, we propose to apply repulsion in the Contextual Space as a novel framework for achieving rich diversity in Diffusion Transformers. By intervening in the multimodal attention channels, we apply on-the-fly repulsion during the transformer's forward pass, injecting the intervention between blocks where text conditioning is enriched with emergent image structure. This allows for redirecting the guidance trajectory after it is structurally informed but before the composition is fixed. Our results demonstrate that repulsion in the Contextual Space produces significantly richer diversity without sacrificing visual fidelity or semantic adherence. Furthermore, our method is uniquely efficient, imposing a small computational overhead while remaining effective even in modern "Turbo" and distilled models where traditional trajectory-based interventions typically fail.