Explicadores Conceptuales Probabilísticos: Explicaciones Conceptuales Confiables para Modelos Fundamentales de Visión

Probabilistic Conceptual Explainers: Trustworthy Conceptual Explanations for Vision Foundation Models

June 18, 2024

Autores: Hengyi Wang, Shiwei Tan, Hao Wang

cs.AI

Resumen

Los transformadores de visión (ViTs) han surgido como un área de enfoque significativa, particularmente por su capacidad para ser entrenados conjuntamente con modelos de lenguaje grandes y para servir como modelos de visión robustos. Sin embargo, el desarrollo de métodos de explicación confiables para ViTs se ha quedado rezagado, especialmente en el contexto de interpretaciones post-hoc de las predicciones de ViTs. Los enfoques existentes de selección de subimágenes, como los modelos de atribución de características y conceptuales, no logran cumplir con este propósito. Este artículo propone cinco desiderata para explicar ViTs: fidelidad, estabilidad, dispersión, estructura multinivel y parsimonia, y demuestra la insuficiencia de los métodos actuales para cumplir con estos criterios de manera integral. Introducimos un marco de explicación bayesiano variacional, denominado ProbAbilistic Concept Explainers (PACE), que modela las distribuciones de los embeddings de parches para proporcionar explicaciones conceptuales post-hoc confiables. Nuestro análisis cualitativo revela las distribuciones de conceptos a nivel de parche, elucidando la efectividad de los ViTs al modelar la distribución conjunta de los embeddings de parches y las predicciones del ViT. Además, estas explicaciones a nivel de parche cierran la brecha entre las explicaciones a nivel de imagen y a nivel de conjunto de datos, completando así la estructura multinivel de PACE. A través de extensos experimentos en conjuntos de datos tanto sintéticos como del mundo real, demostramos que PACE supera a los métodos más avanzados en términos de los desiderata definidos.

English

Vision transformers (ViTs) have emerged as a significant area of focus, particularly for their capacity to be jointly trained with large language models and to serve as robust vision foundation models. Yet, the development of trustworthy explanation methods for ViTs has lagged, particularly in the context of post-hoc interpretations of ViT predictions. Existing sub-image selection approaches, such as feature-attribution and conceptual models, fall short in this regard. This paper proposes five desiderata for explaining ViTs -- faithfulness, stability, sparsity, multi-level structure, and parsimony -- and demonstrates the inadequacy of current methods in meeting these criteria comprehensively. We introduce a variational Bayesian explanation framework, dubbed ProbAbilistic Concept Explainers (PACE), which models the distributions of patch embeddings to provide trustworthy post-hoc conceptual explanations. Our qualitative analysis reveals the distributions of patch-level concepts, elucidating the effectiveness of ViTs by modeling the joint distribution of patch embeddings and ViT's predictions. Moreover, these patch-level explanations bridge the gap between image-level and dataset-level explanations, thus completing the multi-level structure of PACE. Through extensive experiments on both synthetic and real-world datasets, we demonstrate that PACE surpasses state-of-the-art methods in terms of the defined desiderata.