顕著性マップの再考：認知科学的に人間に整合した説明の分類体系と評価フレームワーク

Rethinking Saliency Maps: A Cognitive Human Aligned Taxonomy and Evaluation Framework for Explanations

November 17, 2025

著者: Yehonatan Elisha, Seffi Cohen, Oren Barkan, Noam Koenigstein

cs.AI

要旨

サリエンシーマップは深学習における視覚的説明として広く利用されているが、その本来の目的と多様なユーザークエリとの整合性に関して、根本的な合意の欠如が持続している。この曖昧さが説明手法の効果的な評価と実用的有用性を妨げている。我々はこの隔たりを埋めるため、原則に基づいた概念的枠組みであるReference-Frame（参照枠）× Granularity（粒度）（RFxG）分類体系を提案する。これはサリエンシー説明を2つの重要な軸に沿って整理する： **参照枠**: 点別的な説明（「なぜこの予測なのか？」）と対比的な説明（「なぜこれであって代替案ではないのか？」）を区別する。 **粒度**: 細粒度なクラスレベル（例：「なぜハスキーなのか？」）から粗粒度なグループレベル（例：「なぜ犬なのか？」）までの解釈の範囲。 RFxGのレンズを通して、既存の評価指標が圧倒的に点別的な忠実性を優先し、対比的推論と意味的粒度を軽視するという重大な限界を実証する。両RFxG次元にわたる説明品質を体系的に評価するため、我々は4つの新しい忠実性指標を提案する。我々の包括的評価フレームワークは、これらの指標を10の最先端サリエンシー手法、4つのモデルアーキテクチャ、3つのデータセットに適用する。ユーザーの意図主導の評価への転換を提唱することで、本研究は、基礎となるモデル挙動に対して忠実であるだけでなく、人間の理解と問いの複雑性に意味的に整合した視覚的説明を開発するために必要な概念的基盤と実践的ツールの両方を提供する。

English

Saliency maps are widely used for visual explanations in deep learning, but a fundamental lack of consensus persists regarding their intended purpose and alignment with diverse user queries. This ambiguity hinders the effective evaluation and practical utility of explanation methods. We address this gap by introducing the Reference-Frame times Granularity (RFxG) taxonomy, a principled conceptual framework that organizes saliency explanations along two essential axes:Reference-Frame: Distinguishing between pointwise ("Why this prediction?") and contrastive ("Why this and not an alternative?") explanations. Granularity: Ranging from fine-grained class-level (e.g., "Why Husky?") to coarse-grained group-level (e.g., "Why Dog?") interpretations. Using the RFxG lens, we demonstrate critical limitations in existing evaluation metrics, which overwhelmingly prioritize pointwise faithfulness while neglecting contrastive reasoning and semantic granularity. To systematically assess explanation quality across both RFxG dimensions, we propose four novel faithfulness metrics. Our comprehensive evaluation framework applies these metrics to ten state-of-the-art saliency methods, four model architectures, and three datasets. By advocating a shift toward user-intent-driven evaluation, our work provides both the conceptual foundation and the practical tools necessary to develop visual explanations that are not only faithful to the underlying model behavior but are also meaningfully aligned with the complexity of human understanding and inquiry.