確率的概念説明器：視覚基盤モデルのための信頼性ある概念的説明

Probabilistic Conceptual Explainers: Trustworthy Conceptual Explanations for Vision Foundation Models

June 18, 2024

著者: Hengyi Wang, Shiwei Tan, Hao Wang

cs.AI

要旨

ビジョントランスフォーマー（ViTs）は、特に大規模言語モデルと共同で訓練可能であり、堅牢なビジョン基盤モデルとして機能する能力から、重要な研究領域として注目を集めています。しかし、ViTsの信頼性のある説明手法の開発は遅れており、特にViTの予測に対する事後解釈の文脈において顕著です。既存のサブ画像選択アプローチ、例えば特徴帰属モデルや概念モデルは、この点において不十分です。本論文では、ViTsを説明するための5つの望ましい特性――忠実性、安定性、疎性、多階層構造、簡潔性――を提案し、現在の手法がこれらの基準を包括的に満たすことができないことを示します。我々は、パッチ埋め込みの分布をモデル化し、信頼性のある事後概念説明を提供する変分ベイズ説明フレームワーク、ProbAbilistic Concept Explainers（PACE）を導入します。我々の定性的分析は、パッチレベルの概念の分布を明らかにし、パッチ埋め込みとViTの予測の同時分布をモデル化することでViTsの有効性を解明します。さらに、これらのパッチレベルの説明は、画像レベルとデータセットレベルの説明の間のギャップを埋め、PACEの多階層構造を完成させます。合成データセットと実世界のデータセットを用いた広範な実験を通じて、PACEが定義された望ましい特性において最先端の手法を凌駕することを示します。

English

Vision transformers (ViTs) have emerged as a significant area of focus, particularly for their capacity to be jointly trained with large language models and to serve as robust vision foundation models. Yet, the development of trustworthy explanation methods for ViTs has lagged, particularly in the context of post-hoc interpretations of ViT predictions. Existing sub-image selection approaches, such as feature-attribution and conceptual models, fall short in this regard. This paper proposes five desiderata for explaining ViTs -- faithfulness, stability, sparsity, multi-level structure, and parsimony -- and demonstrates the inadequacy of current methods in meeting these criteria comprehensively. We introduce a variational Bayesian explanation framework, dubbed ProbAbilistic Concept Explainers (PACE), which models the distributions of patch embeddings to provide trustworthy post-hoc conceptual explanations. Our qualitative analysis reveals the distributions of patch-level concepts, elucidating the effectiveness of ViTs by modeling the joint distribution of patch embeddings and ViT's predictions. Moreover, these patch-level explanations bridge the gap between image-level and dataset-level explanations, thus completing the multi-level structure of PACE. Through extensive experiments on both synthetic and real-world datasets, we demonstrate that PACE surpasses state-of-the-art methods in terms of the defined desiderata.