Neubetrachtung von LRP: Positionsbezogene Attribution als das fehlende Element für die Erklärbarkeit von Transformatoren

Revisiting LRP: Positional Attribution as the Missing Ingredient for Transformer Explainability

June 2, 2025

Autoren: Yarden Bakish, Itamar Zimerman, Hila Chefer, Lior Wolf

cs.AI

Zusammenfassung

Die Entwicklung effektiver Erklärbarkeitstools für Transformer ist ein entscheidendes Ziel in der Deep-Learning-Forschung. Einer der vielversprechendsten Ansätze in diesem Bereich ist die Layer-wise Relevance Propagation (LRP), die Relevanzwerte rückwärts durch das Netzwerk in den Eingaberaum propagiert, indem Aktivierungswerte basierend auf vordefinierten Regeln neu verteilt werden. Allerdings übersehen bestehende LRP-basierte Methoden zur Erklärbarkeit von Transformatoren eine kritische Komponente der Transformer-Architektur: die Positionskodierung (Positional Encoding, PE). Dies führt zu einer Verletzung der Erhaltungseigenschaft und zum Verlust einer wichtigen und einzigartigen Art von Relevanz, die auch mit strukturellen und positionsbezogenen Merkmalen verbunden ist. Um diese Einschränkung zu beheben, formulieren wir den Eingaberaum für die Erklärbarkeit von Transformatoren als eine Menge von Positions-Token-Paaren neu. Dies ermöglicht es uns, spezialisierte, theoretisch fundierte LRP-Regeln vorzuschlagen, die darauf ausgelegt sind, Attributionen über verschiedene Positionskodierungsmethoden hinweg zu propagieren, einschließlich Rotary, Learnable und Absolute PE. Umfangreiche Experimente mit sowohl feinabgestimmten Klassifikatoren als auch Zero-Shot-Foundation-Modellen wie LLaMA 3 zeigen, dass unsere Methode den State-of-the-Art in Erklärbarkeitsaufgaben sowohl in der Bildverarbeitung als auch im NLP-Bereich deutlich übertrifft. Unser Code ist öffentlich verfügbar.

English

The development of effective explainability tools for Transformers is a crucial pursuit in deep learning research. One of the most promising approaches in this domain is Layer-wise Relevance Propagation (LRP), which propagates relevance scores backward through the network to the input space by redistributing activation values based on predefined rules. However, existing LRP-based methods for Transformer explainability entirely overlook a critical component of the Transformer architecture: its positional encoding (PE), resulting in violation of the conservation property, and the loss of an important and unique type of relevance, which is also associated with structural and positional features. To address this limitation, we reformulate the input space for Transformer explainability as a set of position-token pairs. This allows us to propose specialized theoretically-grounded LRP rules designed to propagate attributions across various positional encoding methods, including Rotary, Learnable, and Absolute PE. Extensive experiments with both fine-tuned classifiers and zero-shot foundation models, such as LLaMA 3, demonstrate that our method significantly outperforms the state-of-the-art in both vision and NLP explainability tasks. Our code is publicly available.