ConceptAttention: Diffusion Transformers Leren Zeer Interpreteerbare Kenmerken

ConceptAttention: Diffusion Transformers Learn Highly Interpretable Features

February 6, 2025

Auteurs: Alec Helbling, Tuna Han Salih Meral, Ben Hoover, Pinar Yanardag, Duen Horng Chau

cs.AI

Samenvatting

Vertonen de rijke representaties van multimodale diffusietransformatoren (DiTs) unieke eigenschappen die hun interpreteerbaarheid verbeteren? We introduceren ConceptAttention, een nieuw methodiek die gebruikmaakt van de expressieve kracht van DiT-aandachtlagen om hoogwaardige saliency maps te genereren die tekstuele concepten nauwkeurig lokaliseren binnen afbeeldingen. Zonder extra training te vereisen, hergebruikt ConceptAttention de parameters van DiT-aandachtlagen om zeer gecontextualiseerde concept-embeddings te produceren, waarbij de belangrijke ontdekking wordt gedaan dat lineaire projecties in de uitvoerruimte van DiT-aandachtlagen aanzienlijk scherpere saliency maps opleveren in vergelijking met veelgebruikte cross-aandachtmechanismen. Opmerkelijk genoeg behaalt ConceptAttention zelfs state-of-the-art prestaties op zero-shot beeldsegmentatie-benchmarks, waarbij het 11 andere zero-shot interpreteerbaarheidsmethoden overtreft op de ImageNet-Segmentatiedataset en op een subset met één klasse van PascalVOC. Ons werk levert het eerste bewijs dat de representaties van multimodale DiT-modellen zoals Flux zeer overdraagbaar zijn naar visuele taken zoals segmentatie, waarbij ze zelfs multimodale basismodellen zoals CLIP overtreffen.

English

Do the rich representations of multi-modal diffusion transformers (DiTs) exhibit unique properties that enhance their interpretability? We introduce ConceptAttention, a novel method that leverages the expressive power of DiT attention layers to generate high-quality saliency maps that precisely locate textual concepts within images. Without requiring additional training, ConceptAttention repurposes the parameters of DiT attention layers to produce highly contextualized concept embeddings, contributing the major discovery that performing linear projections in the output space of DiT attention layers yields significantly sharper saliency maps compared to commonly used cross-attention mechanisms. Remarkably, ConceptAttention even achieves state-of-the-art performance on zero-shot image segmentation benchmarks, outperforming 11 other zero-shot interpretability methods on the ImageNet-Segmentation dataset and on a single-class subset of PascalVOC. Our work contributes the first evidence that the representations of multi-modal DiT models like Flux are highly transferable to vision tasks like segmentation, even outperforming multi-modal foundation models like CLIP.