Переосмысление карт значимости: когнитивно-ориентированная таксономия и оценочная система для объясняющих методов

Rethinking Saliency Maps: A Cognitive Human Aligned Taxonomy and Evaluation Framework for Explanations

November 17, 2025

Авторы: Yehonatan Elisha, Seffi Cohen, Oren Barkan, Noam Koenigstein

cs.AI

Аннотация

Карты значимости широко используются для визуального объяснения решений в глубоком обучении, однако фундаментальное отсутствие консенсуса сохраняется относительно их предполагаемой цели и соответствия разнообразным запросам пользователей. Эта неоднозначность препятствует эффективной оценке и практической полезности методов объяснения. Мы устраняем этот пробел, вводя таксономию «Референтный-фрейм × Гранулярность» (РФ×Г) — принципиальную концептуальную основу, которая систематизирует объяснения на основе значимости по двум ключевым осям: * **Референтный фрейм:** Разграничивает точечные («Почему именно этот прогноз?») и контрастные («Почему это, а не альтернатива?») объяснения. * **Гранулярность:** Охватывает интерпретации от детального классового уровня (например, «Почему хаски?») до общего группового уровня (например, «Почему собака?»). Используя линзу РФ×Г, мы демонстрируем ключевые ограничения существующих метрик оценки, которые в подавляющем большинстве ориентированы на точечную достоверность (faithfulness), пренебрегая контрастными рассуждениями и семантической гранулярностью. Для систематической оценки качества объяснений по обоим измерениям РФ×Г мы предлагаем четыре новые метрики достоверности. Наша комплексная система оценки применяет эти метрики к десяти современным методам построения карт значимости, четырем архитектурам моделей и трем наборам данных. Пропагандируя переход к оценке, управляемой намерениями пользователя, наша работа предоставляет как концептуальную основу, так и практические инструменты, необходимые для разработки визуальных объяснений, которые не только достоверно отражают поведение базовой модели, но и содержательно согласуются со сложностью человеческого понимания и запросов.

English

Saliency maps are widely used for visual explanations in deep learning, but a fundamental lack of consensus persists regarding their intended purpose and alignment with diverse user queries. This ambiguity hinders the effective evaluation and practical utility of explanation methods. We address this gap by introducing the Reference-Frame times Granularity (RFxG) taxonomy, a principled conceptual framework that organizes saliency explanations along two essential axes:Reference-Frame: Distinguishing between pointwise ("Why this prediction?") and contrastive ("Why this and not an alternative?") explanations. Granularity: Ranging from fine-grained class-level (e.g., "Why Husky?") to coarse-grained group-level (e.g., "Why Dog?") interpretations. Using the RFxG lens, we demonstrate critical limitations in existing evaluation metrics, which overwhelmingly prioritize pointwise faithfulness while neglecting contrastive reasoning and semantic granularity. To systematically assess explanation quality across both RFxG dimensions, we propose four novel faithfulness metrics. Our comprehensive evaluation framework applies these metrics to ten state-of-the-art saliency methods, four model architectures, and three datasets. By advocating a shift toward user-intent-driven evaluation, our work provides both the conceptual foundation and the practical tools necessary to develop visual explanations that are not only faithful to the underlying model behavior but are also meaningfully aligned with the complexity of human understanding and inquiry.