Dis-moi pourquoi : Les modèles de fondation visuels comme classificateurs auto-explicatifs

Tell me why: Visual foundation models as self-explainable classifiers

February 26, 2025

Auteurs: Hugues Turbé, Mina Bjelogrlic, Gianmarco Mengaldo, Christian Lovis

cs.AI

Résumé

Les modèles de fondation visuels (VFMs) ont gagné en popularité grâce à leurs performances de pointe. Cependant, l'interprétabilité reste cruciale pour les applications critiques. Dans ce contexte, les modèles auto-explicables (SEM) visent à fournir des classificateurs interprétables qui décomposent les prédictions en une somme pondérée de concepts interprétables. Malgré leur potentiel, des études récentes ont montré que ces explications manquent souvent de fidélité. Dans ce travail, nous combinons les VFMs avec une architecture prototypique innovante et des objectifs d'entraînement spécialisés. En entraînant uniquement une tête légère (environ 1 million de paramètres) sur des VFMs figés, notre approche (ProtoFM) offre une solution efficace et interprétable. Les évaluations démontrent que notre approche atteint des performances de classification compétitives tout en surpassant les modèles existants sur une gamme de métriques d'interprétabilité issues de la littérature. Le code est disponible à l'adresse https://github.com/hturbe/proto-fm.

English

Visual foundation models (VFMs) have become increasingly popular due to their state-of-the-art performance. However, interpretability remains crucial for critical applications. In this sense, self-explainable models (SEM) aim to provide interpretable classifiers that decompose predictions into a weighted sum of interpretable concepts. Despite their promise, recent studies have shown that these explanations often lack faithfulness. In this work, we combine VFMs with a novel prototypical architecture and specialized training objectives. By training only a lightweight head (approximately 1M parameters) on top of frozen VFMs, our approach (ProtoFM) offers an efficient and interpretable solution. Evaluations demonstrate that our approach achieves competitive classification performance while outperforming existing models across a range of interpretability metrics derived from the literature. Code is available at https://github.com/hturbe/proto-fm.