Riconsiderare LRP: L'attribuzione posizionale come ingrediente mancante per l'interpretabilità dei Transformer

Revisiting LRP: Positional Attribution as the Missing Ingredient for Transformer Explainability

June 2, 2025

Autori: Yarden Bakish, Itamar Zimerman, Hila Chefer, Lior Wolf

cs.AI

Abstract

Lo sviluppo di strumenti efficaci per l'interpretabilità dei Transformer rappresenta un obiettivo cruciale nella ricerca sul deep learning. Uno degli approcci più promettenti in questo ambito è la Propagazione della Rilevanza Strato per Strato (Layer-wise Relevance Propagation, LRP), che propaga i punteggi di rilevanza all'indietro attraverso la rete fino allo spazio di input, ridistribuendo i valori di attivazione in base a regole predefinite. Tuttavia, i metodi esistenti basati su LRP per l'interpretabilità dei Transformer trascurano completamente un componente critico dell'architettura Transformer: la codifica posizionale (Positional Encoding, PE), portando alla violazione della proprietà di conservazione e alla perdita di un tipo importante e unico di rilevanza, associato anche a caratteristiche strutturali e posizionali. Per affrontare questa limitazione, riformuliamo lo spazio di input per l'interpretabilità dei Transformer come un insieme di coppie posizione-token. Ciò ci consente di proporre regole LRP specializzate e teoricamente fondate, progettate per propagare le attribuzioni attraverso vari metodi di codifica posizionale, tra cui Rotary, Learnable e Absolute PE. Esperimenti estesi sia con classificatori fine-tuned che con modelli foundation zero-shot, come LLaMA 3, dimostrano che il nostro metodo supera significativamente lo stato dell'arte sia nei compiti di interpretabilità visiva che in quelli NLP. Il nostro codice è pubblicamente disponibile.

English

The development of effective explainability tools for Transformers is a crucial pursuit in deep learning research. One of the most promising approaches in this domain is Layer-wise Relevance Propagation (LRP), which propagates relevance scores backward through the network to the input space by redistributing activation values based on predefined rules. However, existing LRP-based methods for Transformer explainability entirely overlook a critical component of the Transformer architecture: its positional encoding (PE), resulting in violation of the conservation property, and the loss of an important and unique type of relevance, which is also associated with structural and positional features. To address this limitation, we reformulate the input space for Transformer explainability as a set of position-token pairs. This allows us to propose specialized theoretically-grounded LRP rules designed to propagate attributions across various positional encoding methods, including Rotary, Learnable, and Absolute PE. Extensive experiments with both fine-tuned classifiers and zero-shot foundation models, such as LLaMA 3, demonstrate that our method significantly outperforms the state-of-the-art in both vision and NLP explainability tasks. Our code is publicly available.