Explicadores Conceituais Probabilísticos: Explicações Conceituais Confiáveis para Modelos de Base de Visão

Probabilistic Conceptual Explainers: Trustworthy Conceptual Explanations for Vision Foundation Models

June 18, 2024

Autores: Hengyi Wang, Shiwei Tan, Hao Wang

cs.AI

Resumo

Os transformadores de visão (ViTs) emergiram como uma área de foco significativa, particularmente por sua capacidade de serem treinados conjuntamente com grandes modelos de linguagem e de servirem como modelos de base robustos para visão. No entanto, o desenvolvimento de métodos de explicação confiáveis para ViTs tem ficado para trás, especialmente no contexto de interpretações pós-hoc das previsões dos ViTs. As abordagens existentes de seleção de subimagens, como modelos de atribuição de características e modelos conceituais, são insuficientes nesse aspecto. Este artigo propõe cinco desideratos para explicar ViTs -- fidelidade, estabilidade, esparsidade, estrutura multinível e parcimônia -- e demonstra a inadequação dos métodos atuais em atender a esses critérios de forma abrangente. Introduzimos um framework de explicação bayesiana variacional, denominado ProbAbilistic Concept Explainers (PACE), que modela as distribuições dos embeddings de patches para fornecer explicações conceituais pós-hoc confiáveis. Nossa análise qualitativa revela as distribuições dos conceitos em nível de patch, elucidando a eficácia dos ViTs ao modelar a distribuição conjunta dos embeddings de patches e das previsões do ViT. Além disso, essas explicações em nível de patch preenchem a lacuna entre as explicações em nível de imagem e em nível de conjunto de dados, completando assim a estrutura multinível do PACE. Por meio de extensos experimentos em conjuntos de dados sintéticos e do mundo real, demonstramos que o PACE supera os métodos state-of-the-art em termos dos desideratos definidos.

English

Vision transformers (ViTs) have emerged as a significant area of focus, particularly for their capacity to be jointly trained with large language models and to serve as robust vision foundation models. Yet, the development of trustworthy explanation methods for ViTs has lagged, particularly in the context of post-hoc interpretations of ViT predictions. Existing sub-image selection approaches, such as feature-attribution and conceptual models, fall short in this regard. This paper proposes five desiderata for explaining ViTs -- faithfulness, stability, sparsity, multi-level structure, and parsimony -- and demonstrates the inadequacy of current methods in meeting these criteria comprehensively. We introduce a variational Bayesian explanation framework, dubbed ProbAbilistic Concept Explainers (PACE), which models the distributions of patch embeddings to provide trustworthy post-hoc conceptual explanations. Our qualitative analysis reveals the distributions of patch-level concepts, elucidating the effectiveness of ViTs by modeling the joint distribution of patch embeddings and ViT's predictions. Moreover, these patch-level explanations bridge the gap between image-level and dataset-level explanations, thus completing the multi-level structure of PACE. Through extensive experiments on both synthetic and real-world datasets, we demonstrate that PACE surpasses state-of-the-art methods in terms of the defined desiderata.