Revisiter LRP : L'attribution positionnelle comme ingrédient manquant pour l'explicabilité des Transformers

Revisiting LRP: Positional Attribution as the Missing Ingredient for Transformer Explainability

June 2, 2025

Auteurs: Yarden Bakish, Itamar Zimerman, Hila Chefer, Lior Wolf

cs.AI

Résumé

Le développement d'outils d'explicabilité efficaces pour les Transformers constitue une quête cruciale dans la recherche en apprentissage profond. L'une des approches les plus prometteuses dans ce domaine est la Propagation de Pertinence par Couches (LRP), qui propage des scores de pertinence à rebours à travers le réseau jusqu'à l'espace d'entrée en redistribuant les valeurs d'activation selon des règles prédéfinies. Cependant, les méthodes existantes basées sur la LRP pour l'explicabilité des Transformers négligent entièrement un composant critique de l'architecture des Transformers : leur encodage positionnel (PE), ce qui entraîne une violation de la propriété de conservation et la perte d'un type de pertinence important et unique, également associé aux caractéristiques structurelles et positionnelles. Pour remédier à cette limitation, nous reformulons l'espace d'entrée pour l'explicabilité des Transformers comme un ensemble de paires position-jeton. Cela nous permet de proposer des règles de LRP spécialisées et théoriquement fondées, conçues pour propager les attributions à travers diverses méthodes d'encodage positionnel, notamment l'encodage Rotary, Apprenable et Absolu. Des expériences approfondies avec des classifieurs affinés et des modèles de base en zero-shot, tels que LLaMA 3, démontrent que notre méthode surpasse significativement l'état de l'art dans les tâches d'explicabilité en vision et en traitement du langage naturel. Notre code est disponible publiquement.

English

The development of effective explainability tools for Transformers is a crucial pursuit in deep learning research. One of the most promising approaches in this domain is Layer-wise Relevance Propagation (LRP), which propagates relevance scores backward through the network to the input space by redistributing activation values based on predefined rules. However, existing LRP-based methods for Transformer explainability entirely overlook a critical component of the Transformer architecture: its positional encoding (PE), resulting in violation of the conservation property, and the loss of an important and unique type of relevance, which is also associated with structural and positional features. To address this limitation, we reformulate the input space for Transformer explainability as a set of position-token pairs. This allows us to propose specialized theoretically-grounded LRP rules designed to propagate attributions across various positional encoding methods, including Rotary, Learnable, and Absolute PE. Extensive experiments with both fine-tuned classifiers and zero-shot foundation models, such as LLaMA 3, demonstrate that our method significantly outperforms the state-of-the-art in both vision and NLP explainability tasks. Our code is publicly available.