LRP Herbezien: Positionele Attributie als het Ontbrekende Ingrediënt voor Transformer-Interpretatie

Revisiting LRP: Positional Attribution as the Missing Ingredient for Transformer Explainability

June 2, 2025

Auteurs: Yarden Bakish, Itamar Zimerman, Hila Chefer, Lior Wolf

cs.AI

Samenvatting

De ontwikkeling van effectieve uitlegbaarheidstools voor Transformers is een cruciaal streven in het onderzoek naar deep learning. Een van de meest veelbelovende benaderingen op dit gebied is Layer-wise Relevance Propagation (LRP), dat relevantiescores achterwaarts door het netwerk naar de invoerruimte propageert door activatiewaarden te herverdelen op basis van vooraf gedefinieerde regels. Bestaande LRP-gebaseerde methoden voor Transformer-uitlegbaarheid negeren echter volledig een cruciaal onderdeel van de Transformer-architectuur: de positionele codering (PE), wat leidt tot een schending van de conservatie-eigenschap en het verlies van een belangrijk en uniek type relevantie, dat ook geassocieerd is met structurele en positionele kenmerken. Om deze beperking aan te pakken, herformuleren we de invoerruimte voor Transformer-uitlegbaarheid als een set van positie-tokenparen. Dit stelt ons in staat om gespecialiseerde, theoretisch onderbouwde LRP-regels voor te stellen die zijn ontworpen om attributies te propageren over verschillende positionele coderingsmethoden, waaronder Rotary, Learnable en Absolute PE. Uitgebreide experimenten met zowel fijn afgestemde classificatiemodellen als zero-shot foundation-modellen, zoals LLaMA 3, tonen aan dat onze methode de state-of-the-art aanzienlijk overtreft in zowel visuele als NLP-uitlegbaarheidstaken. Onze code is publiekelijk beschikbaar.

English

The development of effective explainability tools for Transformers is a crucial pursuit in deep learning research. One of the most promising approaches in this domain is Layer-wise Relevance Propagation (LRP), which propagates relevance scores backward through the network to the input space by redistributing activation values based on predefined rules. However, existing LRP-based methods for Transformer explainability entirely overlook a critical component of the Transformer architecture: its positional encoding (PE), resulting in violation of the conservation property, and the loss of an important and unique type of relevance, which is also associated with structural and positional features. To address this limitation, we reformulate the input space for Transformer explainability as a set of position-token pairs. This allows us to propose specialized theoretically-grounded LRP rules designed to propagate attributions across various positional encoding methods, including Rotary, Learnable, and Absolute PE. Extensive experiments with both fine-tuned classifiers and zero-shot foundation models, such as LLaMA 3, demonstrate that our method significantly outperforms the state-of-the-art in both vision and NLP explainability tasks. Our code is publicly available.