PLADIS：推論時のスパース性を活用した拡散モデルのアテンション機構の限界への挑戦

PLADIS: Pushing the Limits of Attention in Diffusion Models at Inference Time by Leveraging Sparsity

March 10, 2025

著者: Kwanyoung Kim, Byeongsu Sim

cs.AI

要旨

拡散モデルは、Classifier-Free Guidance（CFG）などのガイダンス技術を用いて高品質な条件付きサンプルを生成する際に印象的な結果を示しています。しかし、既存の手法では追加のトレーニングやニューラル関数評価（NFE）が必要となることが多く、ガイダンス蒸留モデルとの互換性がありません。また、これらの手法はヒューリスティックなアプローチに依存しており、ターゲット層を特定する必要があります。本研究では、PLADISと呼ばれる新規で効率的な手法を提案します。この手法は、事前学習済みモデル（U-Net/Transformer）をスパースアテンションを活用して強化します。具体的には、推論時にクロスアテンション層において、ソフトマックスとそのスパース版を使用してクエリ-キー相関を外挿し、追加のトレーニングやNFEを必要としません。スパースアテンションのノイズ耐性を活用することで、PLADISはテキストから画像への拡散モデルの潜在能力を引き出し、これまで苦手としていた領域でも新たな効果を発揮できるようにします。また、ガイダンス蒸留モデルを含むガイダンス技術とシームレスに統合されます。大規模な実験により、テキストの整合性と人間の選好において顕著な改善が示され、非常に効率的で普遍的に適用可能なソリューションを提供します。

English

Diffusion models have shown impressive results in generating high-quality conditional samples using guidance techniques such as Classifier-Free Guidance (CFG). However, existing methods often require additional training or neural function evaluations (NFEs), making them incompatible with guidance-distilled models. Also, they rely on heuristic approaches that need identifying target layers. In this work, we propose a novel and efficient method, termed PLADIS, which boosts pre-trained models (U-Net/Transformer) by leveraging sparse attention. Specifically, we extrapolate query-key correlations using softmax and its sparse counterpart in the cross-attention layer during inference, without requiring extra training or NFEs. By leveraging the noise robustness of sparse attention, our PLADIS unleashes the latent potential of text-to-image diffusion models, enabling them to excel in areas where they once struggled with newfound effectiveness. It integrates seamlessly with guidance techniques, including guidance-distilled models. Extensive experiments show notable improvements in text alignment and human preference, offering a highly efficient and universally applicable solution.