Répulsion en Temps Réel dans l’Espace Contextuel pour une Diversité Riche dans les Transformers de Diffusion

On-the-fly Repulsion in the Contextual Space for Rich Diversity in Diffusion Transformers

March 30, 2026

Auteurs: Omer Dahary, Benaya Koren, Daniel Garibi, Daniel Cohen-Or

cs.AI

Résumé

Les modèles de diffusion modernes de texte-à-image (T2I) ont atteint un alignement sémantique remarquable, mais ils souffrent souvent d'un manque significatif de variété, convergeant vers un ensemble restreint de solutions visuelles pour une instruction donnée. Ce biais de typicalité représente un défi pour les applications créatives qui nécessitent une large gamme de résultats génératifs. Nous identifions un compromis fondamental dans les approches actuelles de la diversité : modifier les entrées du modèle nécessite une optimisation coûteuse pour intégrer les retours du chemin génératif. À l'inverse, agir sur les latents intermédiaires déjà spatialement engagés tend à perturber la structure visuelle en formation, conduisant à des artéfacts. Dans ce travail, nous proposons d'appliquer une répulsion dans l'Espace Contextuel comme nouveau cadre pour atteindre une riche diversité dans les Transformers à Diffusion. En intervenant sur les canaux d'attention multimodale, nous appliquons une répulsion à la volée durant la passe avant du transformer, en injectant l'intervention entre les blocs où le conditionnement textuel est enrichi par la structure d'image émergente. Cela permet de rediriger la trajectoire de guidage après qu'elle est structurellement informée mais avant que la composition ne soit fixée. Nos résultats démontrent que la répulsion dans l'Espace Contextuel produit une diversité significativement plus riche sans sacrifier la fidélité visuelle ou l'adhérence sémantique. De plus, notre méthode est singulièrement efficace, imposant une faible surcharge computationnelle tout en restant performante même dans les modèles modernes "Turbo" et distillés où les interventions traditionnelles basées sur la trajectoire échouent typiquement.

English

Modern Text-to-Image (T2I) diffusion models have achieved remarkable semantic alignment, yet they often suffer from a significant lack of variety, converging on a narrow set of visual solutions for any given prompt. This typicality bias presents a challenge for creative applications that require a wide range of generative outcomes. We identify a fundamental trade-off in current approaches to diversity: modifying model inputs requires costly optimization to incorporate feedback from the generative path. In contrast, acting on spatially-committed intermediate latents tends to disrupt the forming visual structure, leading to artifacts. In this work, we propose to apply repulsion in the Contextual Space as a novel framework for achieving rich diversity in Diffusion Transformers. By intervening in the multimodal attention channels, we apply on-the-fly repulsion during the transformer's forward pass, injecting the intervention between blocks where text conditioning is enriched with emergent image structure. This allows for redirecting the guidance trajectory after it is structurally informed but before the composition is fixed. Our results demonstrate that repulsion in the Contextual Space produces significantly richer diversity without sacrificing visual fidelity or semantic adherence. Furthermore, our method is uniquely efficient, imposing a small computational overhead while remaining effective even in modern "Turbo" and distilled models where traditional trajectory-based interventions typically fail.