Repenser les cartes de saillance : une taxonomie alignée sur la cognition humaine et un cadre d'évaluation pour les explications

Rethinking Saliency Maps: A Cognitive Human Aligned Taxonomy and Evaluation Framework for Explanations

November 17, 2025

papers.authors: Yehonatan Elisha, Seffi Cohen, Oren Barkan, Noam Koenigstein

cs.AI

papers.abstract

Les cartes de saillance sont largement utilisées pour les explications visuelles en apprentissage profond, mais un manque fondamental de consensus persiste concernant leur objectif et leur adéquation aux diverses requêtes des utilisateurs. Cette ambiguïté entrave l'évaluation efficace et l'utilité pratique des méthodes d'explication. Nous comblons cette lacune en introduisant la taxonomie RFxG (Reference-Frame times Granularity), un cadre conceptuel fondé qui organise les explications par saillance selon deux axes essentiels : - **Cadre de référence** : Distingue les explications ponctuelles ("Pourquoi cette prédiction ?") des explications contrastives ("Pourquoi ceci et non une alternative ?"). - **Granularité** : S'étend des interprétations fines au niveau de la classe (ex. "Pourquoi Husky ?") aux interprétations grossières au niveau du groupe (ex. "Pourquoi Chien ?"). En utilisant le prisme RFxG, nous mettons en évidence des limitations critiques des métriques d'évaluation existantes, qui privilégient massivement la fidélité ponctuelle tout en négligeant le raisonnement contrastif et la granularité sémantique. Pour évaluer systématiquement la qualité des explications selon les deux dimensions RFxG, nous proposons quatre nouvelles métriques de fidélité. Notre cadre d'évaluation complet applique ces métriques à dix méthodes de saillance de pointe, quatre architectures de modèle et trois jeux de données. En préconisant une transition vers une évaluation axée sur l'intention de l'utilisateur, notre travail fournit à la fois les fondements conceptuels et les outils pratiques nécessaires pour développer des explications visuelles qui sont non seulement fidèles au comportement du modèle sous-jacent, mais aussi alignées de manière significative sur la complexité de la compréhension et de l'interrogation humaines.

English

Saliency maps are widely used for visual explanations in deep learning, but a fundamental lack of consensus persists regarding their intended purpose and alignment with diverse user queries. This ambiguity hinders the effective evaluation and practical utility of explanation methods. We address this gap by introducing the Reference-Frame times Granularity (RFxG) taxonomy, a principled conceptual framework that organizes saliency explanations along two essential axes:Reference-Frame: Distinguishing between pointwise ("Why this prediction?") and contrastive ("Why this and not an alternative?") explanations. Granularity: Ranging from fine-grained class-level (e.g., "Why Husky?") to coarse-grained group-level (e.g., "Why Dog?") interpretations. Using the RFxG lens, we demonstrate critical limitations in existing evaluation metrics, which overwhelmingly prioritize pointwise faithfulness while neglecting contrastive reasoning and semantic granularity. To systematically assess explanation quality across both RFxG dimensions, we propose four novel faithfulness metrics. Our comprehensive evaluation framework applies these metrics to ten state-of-the-art saliency methods, four model architectures, and three datasets. By advocating a shift toward user-intent-driven evaluation, our work provides both the conceptual foundation and the practical tools necessary to develop visual explanations that are not only faithful to the underlying model behavior but are also meaningfully aligned with the complexity of human understanding and inquiry.