ConceptAttention: los Transformadores de Difusión Aprenden Características Altamente Interpretables

ConceptAttention: Diffusion Transformers Learn Highly Interpretable Features

February 6, 2025

Autores: Alec Helbling, Tuna Han Salih Meral, Ben Hoover, Pinar Yanardag, Duen Horng Chau

cs.AI

Resumen

¿Las representaciones ricas de los transformadores de difusión multimodal (DiTs) exhiben propiedades únicas que mejoran su interpretabilidad? Presentamos ConceptAttention, un método novedoso que aprovecha el poder expresivo de las capas de atención de DiT para generar mapas de prominencia de alta calidad que localizan con precisión conceptos textuales dentro de imágenes. Sin necesidad de entrenamiento adicional, ConceptAttention reutiliza los parámetros de las capas de atención de DiT para producir incrustaciones de conceptos altamente contextualizadas, aportando el importante descubrimiento de que realizar proyecciones lineales en el espacio de salida de las capas de atención de DiT produce mapas de prominencia significativamente más nítidos en comparación con mecanismos de atención cruzada comúnmente utilizados. Notablemente, ConceptAttention incluso logra un rendimiento de vanguardia en bancos de pruebas de segmentación de imágenes de cero disparos, superando a otros 11 métodos de interpretabilidad de cero disparos en el conjunto de datos de Segmentación de ImageNet y en un subconjunto de una sola clase de PascalVOC. Nuestro trabajo aporta la primera evidencia de que las representaciones de modelos multimodales de DiT como Flux son altamente transferibles a tareas de visión como la segmentación, incluso superando a modelos fundamentales multimodales como CLIP.

English

Do the rich representations of multi-modal diffusion transformers (DiTs) exhibit unique properties that enhance their interpretability? We introduce ConceptAttention, a novel method that leverages the expressive power of DiT attention layers to generate high-quality saliency maps that precisely locate textual concepts within images. Without requiring additional training, ConceptAttention repurposes the parameters of DiT attention layers to produce highly contextualized concept embeddings, contributing the major discovery that performing linear projections in the output space of DiT attention layers yields significantly sharper saliency maps compared to commonly used cross-attention mechanisms. Remarkably, ConceptAttention even achieves state-of-the-art performance on zero-shot image segmentation benchmarks, outperforming 11 other zero-shot interpretability methods on the ImageNet-Segmentation dataset and on a single-class subset of PascalVOC. Our work contributes the first evidence that the representations of multi-modal DiT models like Flux are highly transferable to vision tasks like segmentation, even outperforming multi-modal foundation models like CLIP.