Концепция внимания: Диффузионные трансформеры обучаются высокоинтерпретируемым признакам

ConceptAttention: Diffusion Transformers Learn Highly Interpretable Features

February 6, 2025

Авторы: Alec Helbling, Tuna Han Salih Meral, Ben Hoover, Pinar Yanardag, Duen Horng Chau

cs.AI

Аннотация

Обладают ли богатые представления мультимодальных диффузионных трансформеров (DiTs) уникальными свойствами, улучшающими их интерпретируемость? Мы представляем ConceptAttention, новый метод, который использует выразительную мощь слоев внимания DiT для генерации высококачественных карт выдачи, точно определяющих текстовые концепции в изображениях. Не требуя дополнительного обучения, ConceptAttention переиспользует параметры слоев внимания DiT для создания высококонтекстных вложений концепций, внося ключевое открытие, что выполнение линейных проекций в пространстве выходных данных слоев внимания DiT приводит к значительно более четким картам выдачи по сравнению с обычно используемыми механизмами кросс-внимания. Замечательно, ConceptAttention даже достигает передового уровня производительности на нулевых данных бенчмарков сегментации изображений, превосходя 11 других методов интерпретируемости на нулевых данных на наборе данных ImageNet-Segmentation и на одноклассовом подмножестве PascalVOC. Наша работа представляет первые доказательства того, что представления мультимодальных моделей DiT, таких как Flux, являются высоко переносимыми на задачи зрения, такие как сегментация, даже превосходя мультимодальные базовые модели, такие как CLIP.

English

Do the rich representations of multi-modal diffusion transformers (DiTs) exhibit unique properties that enhance their interpretability? We introduce ConceptAttention, a novel method that leverages the expressive power of DiT attention layers to generate high-quality saliency maps that precisely locate textual concepts within images. Without requiring additional training, ConceptAttention repurposes the parameters of DiT attention layers to produce highly contextualized concept embeddings, contributing the major discovery that performing linear projections in the output space of DiT attention layers yields significantly sharper saliency maps compared to commonly used cross-attention mechanisms. Remarkably, ConceptAttention even achieves state-of-the-art performance on zero-shot image segmentation benchmarks, outperforming 11 other zero-shot interpretability methods on the ImageNet-Segmentation dataset and on a single-class subset of PascalVOC. Our work contributes the first evidence that the representations of multi-modal DiT models like Flux are highly transferable to vision tasks like segmentation, even outperforming multi-modal foundation models like CLIP.