PLADIS: Expandindo os Limites da Atenção em Modelos de Difusão no Tempo de Inferência por meio da Aproveitamento da Esparsidade

PLADIS: Pushing the Limits of Attention in Diffusion Models at Inference Time by Leveraging Sparsity

March 10, 2025

Autores: Kwanyoung Kim, Byeongsu Sim

cs.AI

Resumo

Modelos de difusão têm demonstrado resultados impressionantes na geração de amostras condicionais de alta qualidade utilizando técnicas de orientação, como a Orientação Livre de Classificador (Classifier-Free Guidance - CFG). No entanto, os métodos existentes frequentemente exigem treinamento adicional ou avaliações de funções neurais (Neural Function Evaluations - NFEs), tornando-os incompatíveis com modelos de orientação destilada. Além disso, eles dependem de abordagens heurísticas que requerem a identificação de camadas-alvo. Neste trabalho, propomos um método novo e eficiente, denominado PLADIS, que potencializa modelos pré-treinados (U-Net/Transformer) ao aproveitar a atenção esparsa. Especificamente, extrapolamos as correlações query-key usando softmax e sua contraparte esparsa na camada de atenção cruzada durante a inferência, sem a necessidade de treinamento adicional ou NFEs. Ao aproveitar a robustez ao ruído da atenção esparsa, nosso PLADIS libera o potencial latente dos modelos de difusão texto-para-imagem, permitindo que eles se destaquem em áreas onde antes enfrentavam dificuldades, com uma eficácia recém-descoberta. Ele se integra perfeitamente com técnicas de orientação, incluindo modelos de orientação destilada. Experimentos extensivos mostram melhorias notáveis no alinhamento de texto e na preferência humana, oferecendo uma solução altamente eficiente e universalmente aplicável.

English

Diffusion models have shown impressive results in generating high-quality conditional samples using guidance techniques such as Classifier-Free Guidance (CFG). However, existing methods often require additional training or neural function evaluations (NFEs), making them incompatible with guidance-distilled models. Also, they rely on heuristic approaches that need identifying target layers. In this work, we propose a novel and efficient method, termed PLADIS, which boosts pre-trained models (U-Net/Transformer) by leveraging sparse attention. Specifically, we extrapolate query-key correlations using softmax and its sparse counterpart in the cross-attention layer during inference, without requiring extra training or NFEs. By leveraging the noise robustness of sparse attention, our PLADIS unleashes the latent potential of text-to-image diffusion models, enabling them to excel in areas where they once struggled with newfound effectiveness. It integrates seamlessly with guidance techniques, including guidance-distilled models. Extensive experiments show notable improvements in text alignment and human preference, offering a highly efficient and universally applicable solution.