Probabilistische Konzepterklärer: Vertrauenswürdige Konzepterklärungen für Grundlagenmodelle der Bildverarbeitung

Probabilistic Conceptual Explainers: Trustworthy Conceptual Explanations for Vision Foundation Models

June 18, 2024

Autoren: Hengyi Wang, Shiwei Tan, Hao Wang

cs.AI

Zusammenfassung

Vision-Transformer (ViT) sind als ein bedeutender Forschungsbereich in den Fokus gerückt, insbesondere aufgrund ihrer Fähigkeit, gemeinsam mit großen Sprachmodellen trainiert zu werden und als robuste Grundlagenmodelle für die Bildverarbeitung zu dienen. Dennoch hinkt die Entwicklung vertrauenswürdiger Erklärungsmethoden für ViTs hinterher, insbesondere im Kontext von nachträglichen Interpretationen von ViT-Vorhersagen. Bestehende Ansätze zur Auswahl von Teilbildern, wie Merkmalszuweisung und konzeptionelle Modelle, erfüllen diese Anforderungen nicht vollständig. Dieser Artikel schlägt fünf Kriterien zur Erklärung von ViTs vor - Treue, Stabilität, Sparsamkeit, mehrschichtige Struktur und Sparsamkeit - und zeigt die Unzulänglichkeit der aktuellen Methoden bei der umfassenden Erfüllung dieser Kriterien auf. Wir stellen ein variational-bayesianisches Erklärungsframework namens Probabilistische Konzept-Erklärer (PACE) vor, das die Verteilungen von Patch-Einbettungen modelliert, um vertrauenswürdige nachträgliche konzeptionelle Erklärungen zu liefern. Unsere qualitative Analyse zeigt die Verteilungen von Patch-Ebene-Konzepten auf und verdeutlicht die Wirksamkeit von ViTs durch Modellierung der gemeinsamen Verteilung von Patch-Einbettungen und ViT-Vorhersagen. Darüber hinaus überbrücken diese Patch-Ebene-Erklärungen die Kluft zwischen Erklärungen auf Bild- und Datensatzebene und vervollständigen somit die mehrschichtige Struktur von PACE. Durch umfangreiche Experimente sowohl an synthetischen als auch an realen Datensätzen zeigen wir, dass PACE die state-of-the-art Methoden hinsichtlich der definierten Kriterien übertrifft.

English

Vision transformers (ViTs) have emerged as a significant area of focus, particularly for their capacity to be jointly trained with large language models and to serve as robust vision foundation models. Yet, the development of trustworthy explanation methods for ViTs has lagged, particularly in the context of post-hoc interpretations of ViT predictions. Existing sub-image selection approaches, such as feature-attribution and conceptual models, fall short in this regard. This paper proposes five desiderata for explaining ViTs -- faithfulness, stability, sparsity, multi-level structure, and parsimony -- and demonstrates the inadequacy of current methods in meeting these criteria comprehensively. We introduce a variational Bayesian explanation framework, dubbed ProbAbilistic Concept Explainers (PACE), which models the distributions of patch embeddings to provide trustworthy post-hoc conceptual explanations. Our qualitative analysis reveals the distributions of patch-level concepts, elucidating the effectiveness of ViTs by modeling the joint distribution of patch embeddings and ViT's predictions. Moreover, these patch-level explanations bridge the gap between image-level and dataset-level explanations, thus completing the multi-level structure of PACE. Through extensive experiments on both synthetic and real-world datasets, we demonstrate that PACE surpasses state-of-the-art methods in terms of the defined desiderata.