Atribuição Contrastiva em Cenários Reais: Uma Análise de Interpretabilidade das Falhas de LLMs em Benchmarks Realistas

Contrastive Attribution in the Wild: An Interpretability Analysis of LLM Failures on Realistic Benchmarks

April 20, 2026

Autores: Rongyuan Tan, Jue Zhang, Zhuozhao Li, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang

cs.AI

Resumo

As ferramentas de interpretabilidade são cada vez mais utilizadas para analisar falhas de Modelos de Linguagem de Grande Porte (LLMs), no entanto, trabalhos anteriores concentram-se maioritariamente em *prompts* curtos ou cenários simplificados, deixando o seu comportamento em *benchmarks* comumente utilizados pouco explorado. Para colmatar esta lacuna, estudamos a atribuição contrastiva baseada em LRP como uma ferramenta prática para analisar falhas de LLMs em contextos realistas. Formulamos a análise de falhas como uma atribuição contrastiva, atribuindo a diferença de *logit* entre um *token* de saída incorreto e uma alternativa correta aos *tokens* de entrada e aos estados internos do modelo, e introduzimos uma extensão eficiente que permite a construção de grafos de atribuição entre camadas para entradas de contexto longo. Utilizando este *framework*, realizamos um estudo empírico sistemático através de *benchmarks*, comparando padrões de atribuição entre conjuntos de dados, tamanhos de modelo e *checkpoints* de treino. Os nossos resultados mostram que esta atribuição contrastiva a nível de *token* pode produzir sinais informativos em alguns casos de falha, mas não é universalmente aplicável, destacando tanto a sua utilidade como as suas limitações para a análise realista de falhas de LLMs. O nosso código está disponível em: https://aka.ms/Debug-XAI.

English

Interpretability tools are increasingly used to analyze failures of Large Language Models (LLMs), yet prior work largely focuses on short prompts or toy settings, leaving their behavior on commonly used benchmarks underexplored. To address this gap, we study contrastive, LRP-based attribution as a practical tool for analyzing LLM failures in realistic settings. We formulate failure analysis as contrastive attribution, attributing the logit difference between an incorrect output token and a correct alternative to input tokens and internal model states, and introduce an efficient extension that enables construction of cross-layer attribution graphs for long-context inputs. Using this framework, we conduct a systematic empirical study across benchmarks, comparing attribution patterns across datasets, model sizes, and training checkpoints. Our results show that this token-level contrastive attribution can yield informative signals in some failure cases, but is not universally applicable, highlighting both its utility and its limitations for realistic LLM failure analysis. Our code is available at: https://aka.ms/Debug-XAI.