ConceptAttention : Les transformateurs de diffusion apprennent des caractéristiques hautement interprétables

ConceptAttention: Diffusion Transformers Learn Highly Interpretable Features

February 6, 2025

Auteurs: Alec Helbling, Tuna Han Salih Meral, Ben Hoover, Pinar Yanardag, Duen Horng Chau

cs.AI

Résumé

Les représentations riches des transformateurs de diffusion multimodaux (DiTs) présentent-elles des propriétés uniques qui améliorent leur interprétabilité ? Nous introduisons ConceptAttention, une méthode novatrice qui exploite la puissance expressive des couches d'attention DiT pour générer des cartes de saillance de haute qualité localisant précisément les concepts textuels dans les images. Sans nécessiter de formation supplémentaire, ConceptAttention réutilise les paramètres des couches d'attention DiT pour produire des plongements de concepts hautement contextualisés, apportant la découverte majeure que la réalisation de projections linéaires dans l'espace de sortie des couches d'attention DiT produit des cartes de saillance nettement plus précises par rapport aux mécanismes d'attention croisée couramment utilisés. Remarquablement, ConceptAttention atteint même des performances de pointe sur des bancs d'essai de segmentation d'images à zéro-shot, surpassant 11 autres méthodes d'interprétabilité à zéro-shot sur l'ensemble de données ImageNet-Segmentation et sur un sous-ensemble à classe unique de PascalVOC. Notre travail apporte la première preuve que les représentations des modèles multimodaux DiT tels que Flux sont hautement transférables aux tâches de vision telles que la segmentation, surpassant même les modèles fondamentaux multimodaux comme CLIP.

English

Do the rich representations of multi-modal diffusion transformers (DiTs) exhibit unique properties that enhance their interpretability? We introduce ConceptAttention, a novel method that leverages the expressive power of DiT attention layers to generate high-quality saliency maps that precisely locate textual concepts within images. Without requiring additional training, ConceptAttention repurposes the parameters of DiT attention layers to produce highly contextualized concept embeddings, contributing the major discovery that performing linear projections in the output space of DiT attention layers yields significantly sharper saliency maps compared to commonly used cross-attention mechanisms. Remarkably, ConceptAttention even achieves state-of-the-art performance on zero-shot image segmentation benchmarks, outperforming 11 other zero-shot interpretability methods on the ImageNet-Segmentation dataset and on a single-class subset of PascalVOC. Our work contributes the first evidence that the representations of multi-modal DiT models like Flux are highly transferable to vision tasks like segmentation, even outperforming multi-modal foundation models like CLIP.