Rethinking Saliency Maps: Eine kognitive, menschlich ausgerichtete Taxonomie und ein Bewertungsrahmen für Erklärungen
Rethinking Saliency Maps: A Cognitive Human Aligned Taxonomy and Evaluation Framework for Explanations
November 17, 2025
papers.authors: Yehonatan Elisha, Seffi Cohen, Oren Barkan, Noam Koenigstein
cs.AI
papers.abstract
Salienzkarten werden häufig für visuelle Erklärungen im Deep Learning verwendet, doch es besteht ein grundlegendes Fehlen von Konsens über ihren beabsichtigten Zweck und ihre Übereinstimmung mit unterschiedlichen Benutzeranfragen. Diese Mehrdeutigkeit behindert die effektive Evaluation und praktische Nützlichkeit von Erklärungsmethoden. Wir schließen diese Lücke durch die Einführung der Referenzrahmen-mal-Granularität (RFxG)-Taxonomie, eines prinzipienbasierten konzeptionellen Rahmens, der Salienzerklärungen entlang zwei essenzieller Achsen organisiert:
* **Referenzrahmen:** Unterscheidung zwischen punktuellen („Warum diese Vorhersage?“) und kontrastiven („Warum dies und keine Alternative?“) Erklärungen.
* **Granularität:** Reicht von feinkörnigen, klassenbasierten (z.B. „Warum Husky?“) bis zu grobkörnigen, gruppenbasierten (z.B. „Warum Hund?“) Interpretationen.
Mithithilfe der RFxG-Linse demonstrieren wir kritische Limitierungen bestehender Evaluationsmetriken, die überwiegend punktuelle Treue (Faithfulness) priorisieren, während sie kontrastives Reasoning und semantische Granularität vernachlässigen. Um die Erklärungsqualität systematisch über beide RFxG-Dimensionen hinweg zu bewerten, schlagen wir vier neuartige Metriken für Treue vor. Unser umfassendes Evaluationsframework wendet diese Metriken auf zehn state-of-the-art Salienzmethoden, vier Modellarchitekturen und drei Datensätze an. Indem wir uns für einen Wandel hin zu einer benutzerintentionsgetriebenen Evaluation einsetzen, liefert unsere Arbeit sowohl die konzeptionelle Grundlage als auch die praktischen Werkzeuge, die notwendig sind, um visuelle Erklärungen zu entwickeln, die nicht nur treu zum zugrundeliegenden Modellverhalten sind, sondern auch sinnvoll auf die Komplexität des menschlichen Verstehens und Fragens abgestimmt sind.
English
Saliency maps are widely used for visual explanations in deep learning, but a fundamental lack of consensus persists regarding their intended purpose and alignment with diverse user queries. This ambiguity hinders the effective evaluation and practical utility of explanation methods. We address this gap by introducing the Reference-Frame times Granularity (RFxG) taxonomy, a principled conceptual framework that organizes saliency explanations along two essential axes:Reference-Frame: Distinguishing between pointwise ("Why this prediction?") and contrastive ("Why this and not an alternative?") explanations. Granularity: Ranging from fine-grained class-level (e.g., "Why Husky?") to coarse-grained group-level (e.g., "Why Dog?") interpretations. Using the RFxG lens, we demonstrate critical limitations in existing evaluation metrics, which overwhelmingly prioritize pointwise faithfulness while neglecting contrastive reasoning and semantic granularity. To systematically assess explanation quality across both RFxG dimensions, we propose four novel faithfulness metrics. Our comprehensive evaluation framework applies these metrics to ten state-of-the-art saliency methods, four model architectures, and three datasets. By advocating a shift toward user-intent-driven evaluation, our work provides both the conceptual foundation and the practical tools necessary to develop visual explanations that are not only faithful to the underlying model behavior but are also meaningfully aligned with the complexity of human understanding and inquiry.