Atenção de Conceito: Transformadores de Difusão Aprendem Características Altamente Interpretáveis

ConceptAttention: Diffusion Transformers Learn Highly Interpretable Features

February 6, 2025

Autores: Alec Helbling, Tuna Han Salih Meral, Ben Hoover, Pinar Yanardag, Duen Horng Chau

cs.AI

Resumo

As representações ricas dos transformadores de difusão multi-modal (DiTs) apresentam propriedades únicas que aprimoram sua interpretabilidade? Introduzimos o ConceptAttention, um método inovador que aproveita o poder expressivo das camadas de atenção do DiT para gerar mapas de saliência de alta qualidade que localizam precisamente conceitos textuais dentro de imagens. Sem exigir treinamento adicional, o ConceptAttention reutiliza os parâmetros das camadas de atenção do DiT para produzir incorporações de conceitos altamente contextualizadas, contribuindo com a grande descoberta de que realizar projeções lineares no espaço de saída das camadas de atenção do DiT resulta em mapas de saliência significativamente mais nítidos em comparação com mecanismos de atenção cruzada comumente usados. Notavelmente, o ConceptAttention alcança até mesmo desempenho de ponta em benchmarks de segmentação de imagens sem supervisão, superando outros 11 métodos de interpretabilidade sem supervisão no conjunto de dados ImageNet-Segmentation e em um subconjunto de uma única classe do PascalVOC. Nosso trabalho apresenta as primeiras evidências de que as representações de modelos DiT multi-modais, como o Flux, são altamente transferíveis para tarefas de visão, como segmentação, superando até mesmo modelos de fundação multi-modais como o CLIP.

English

Do the rich representations of multi-modal diffusion transformers (DiTs) exhibit unique properties that enhance their interpretability? We introduce ConceptAttention, a novel method that leverages the expressive power of DiT attention layers to generate high-quality saliency maps that precisely locate textual concepts within images. Without requiring additional training, ConceptAttention repurposes the parameters of DiT attention layers to produce highly contextualized concept embeddings, contributing the major discovery that performing linear projections in the output space of DiT attention layers yields significantly sharper saliency maps compared to commonly used cross-attention mechanisms. Remarkably, ConceptAttention even achieves state-of-the-art performance on zero-shot image segmentation benchmarks, outperforming 11 other zero-shot interpretability methods on the ImageNet-Segmentation dataset and on a single-class subset of PascalVOC. Our work contributes the first evidence that the representations of multi-modal DiT models like Flux are highly transferable to vision tasks like segmentation, even outperforming multi-modal foundation models like CLIP.