Revisitando o LRP: Atribuição Posicional como o Ingrediente Ausente para a Explicabilidade de Transformers

Revisiting LRP: Positional Attribution as the Missing Ingredient for Transformer Explainability

June 2, 2025

Autores: Yarden Bakish, Itamar Zimerman, Hila Chefer, Lior Wolf

cs.AI

Resumo

O desenvolvimento de ferramentas eficazes de explicabilidade para Transformers é uma busca crucial na pesquisa de aprendizado profundo. Uma das abordagens mais promissoras nesse domínio é a Propagação de Relevância por Camadas (Layer-wise Relevance Propagation - LRP), que propaga escores de relevância de forma retroativa pela rede até o espaço de entrada, redistribuindo valores de ativação com base em regras predefinidas. No entanto, os métodos existentes baseados em LRP para explicabilidade de Transformers ignoram completamente um componente crítico da arquitetura Transformer: sua codificação posicional (Positional Encoding - PE), resultando na violação da propriedade de conservação e na perda de um tipo importante e único de relevância, que também está associado a características estruturais e posicionais. Para abordar essa limitação, reformulamos o espaço de entrada para explicabilidade de Transformers como um conjunto de pares posição-token. Isso nos permite propor regras de LRP especializadas e teoricamente fundamentadas, projetadas para propagar atribuições em vários métodos de codificação posicional, incluindo PE Rotacional, Aprendível e Absoluta. Experimentos extensivos com classificadores ajustados e modelos de base zero-shot, como o LLaMA 3, demonstram que nosso método supera significativamente o estado da arte em tarefas de explicabilidade tanto em visão computacional quanto em PLN. Nosso código está disponível publicamente.

English

The development of effective explainability tools for Transformers is a crucial pursuit in deep learning research. One of the most promising approaches in this domain is Layer-wise Relevance Propagation (LRP), which propagates relevance scores backward through the network to the input space by redistributing activation values based on predefined rules. However, existing LRP-based methods for Transformer explainability entirely overlook a critical component of the Transformer architecture: its positional encoding (PE), resulting in violation of the conservation property, and the loss of an important and unique type of relevance, which is also associated with structural and positional features. To address this limitation, we reformulate the input space for Transformer explainability as a set of position-token pairs. This allows us to propose specialized theoretically-grounded LRP rules designed to propagate attributions across various positional encoding methods, including Rotary, Learnable, and Absolute PE. Extensive experiments with both fine-tuned classifiers and zero-shot foundation models, such as LLaMA 3, demonstrate that our method significantly outperforms the state-of-the-art in both vision and NLP explainability tasks. Our code is publicly available.