拡散トランスフォーマーにおける豊かな多様性のための文脈空間におけるオンザフライ反発

On-the-fly Repulsion in the Contextual Space for Rich Diversity in Diffusion Transformers

March 30, 2026

著者: Omer Dahary, Benaya Koren, Daniel Garibi, Daniel Cohen-Or

cs.AI

要旨

現代のテキストから画像（T2I）拡散モデルは、驚くべき意味的整合性を達成しているが、与えられたプロンプトに対して視覚的解決策が狭い集合に収束し、多様性に著しく欠ける傾向がある。この典型性バイアスは、幅広い生成結果を必要とする創造的応用において課題となる。我々は、現在の多様性へのアプローチにおける根本的なトレードオフを明らかにする：モデル入力の修正には、生成経路からのフィードバックを組み込むためのコストの高い最適化が必要である。一方、空間的に確定した中間潜在変数に対して作用すると、形成されつつある視覚的構造が破壊され、アーティファクトが生じる傾向がある。本研究では、Diffusion Transformerにおいて豊かな多様性を実現する新しい枠組みとして、Contextual Spaceにおける反発力の適用を提案する。マルチモーダルな注意チャネルに介入することで、トランスフォーマーの順伝播中にオンザフライで反発力を適用し、テキスト条件付けが創発的な画像構造で豊かになるブロック間で介入を注入する。これにより、構造的な情報が入った後で、構図が固定される前に、ガイダンスの軌道を方向転換することが可能となる。結果は、Contextual Spaceにおける反発力が、視覚的忠実度や意味的遵守を犠牲にすることなく、大幅に豊かな多様性を生み出すことを示している。さらに、本手法は独特な効率性を有し、わずかな計算オーバーヘッドを課すだけで、従来の軌道ベースの介入が通常失敗する現代の「ターボ」モデルや蒸留モデルにおいても有効性を維持する。

English

Modern Text-to-Image (T2I) diffusion models have achieved remarkable semantic alignment, yet they often suffer from a significant lack of variety, converging on a narrow set of visual solutions for any given prompt. This typicality bias presents a challenge for creative applications that require a wide range of generative outcomes. We identify a fundamental trade-off in current approaches to diversity: modifying model inputs requires costly optimization to incorporate feedback from the generative path. In contrast, acting on spatially-committed intermediate latents tends to disrupt the forming visual structure, leading to artifacts. In this work, we propose to apply repulsion in the Contextual Space as a novel framework for achieving rich diversity in Diffusion Transformers. By intervening in the multimodal attention channels, we apply on-the-fly repulsion during the transformer's forward pass, injecting the intervention between blocks where text conditioning is enriched with emergent image structure. This allows for redirecting the guidance trajectory after it is structurally informed but before the composition is fixed. Our results demonstrate that repulsion in the Contextual Space produces significantly richer diversity without sacrificing visual fidelity or semantic adherence. Furthermore, our method is uniquely efficient, imposing a small computational overhead while remaining effective even in modern "Turbo" and distilled models where traditional trajectory-based interventions typically fail.