PLADIS: Расширение границ внимания в диффузионных моделях во время вывода за счет использования разреженности

PLADIS: Pushing the Limits of Attention in Diffusion Models at Inference Time by Leveraging Sparsity

March 10, 2025

Авторы: Kwanyoung Kim, Byeongsu Sim

cs.AI

Аннотация

Диффузионные модели продемонстрировали впечатляющие результаты в генерации высококачественных условных выборок с использованием методов управления, таких как Classifier-Free Guidance (CFG). Однако существующие подходы часто требуют дополнительного обучения или вычислений нейронных функций (NFEs), что делает их несовместимыми с моделями, подвергнутыми дистилляции управления. Кроме того, они полагаются на эвристические методы, требующие идентификации целевых слоев. В данной работе мы предлагаем новый и эффективный метод, названный PLADIS, который улучшает предобученные модели (U-Net/Transformer) за счет использования разреженного внимания. В частности, мы экстраполируем корреляции запросов и ключей с использованием softmax и его разреженного аналога в слое кросс-внимания во время вывода, не требуя дополнительного обучения или NFEs. Благодаря использованию устойчивости разреженного внимания к шуму, наш PLADIS раскрывает скрытый потенциал текстово-изобразительных диффузионных моделей, позволяя им преуспевать в областях, где ранее они испытывали трудности, с новой эффективностью. Метод легко интегрируется с техниками управления, включая модели, подвергнутые дистилляции управления. Многочисленные эксперименты демонстрируют значительные улучшения в согласованности с текстом и предпочтениях пользователей, предлагая высокоэффективное и универсально применимое решение.

English

Diffusion models have shown impressive results in generating high-quality conditional samples using guidance techniques such as Classifier-Free Guidance (CFG). However, existing methods often require additional training or neural function evaluations (NFEs), making them incompatible with guidance-distilled models. Also, they rely on heuristic approaches that need identifying target layers. In this work, we propose a novel and efficient method, termed PLADIS, which boosts pre-trained models (U-Net/Transformer) by leveraging sparse attention. Specifically, we extrapolate query-key correlations using softmax and its sparse counterpart in the cross-attention layer during inference, without requiring extra training or NFEs. By leveraging the noise robustness of sparse attention, our PLADIS unleashes the latent potential of text-to-image diffusion models, enabling them to excel in areas where they once struggled with newfound effectiveness. It integrates seamlessly with guidance techniques, including guidance-distilled models. Extensive experiments show notable improvements in text alignment and human preference, offering a highly efficient and universally applicable solution.