Attribution contrastive en conditions réelles : une analyse d'interprétabilité des échecs des LLM sur des benchmarks réalistes
Contrastive Attribution in the Wild: An Interpretability Analysis of LLM Failures on Realistic Benchmarks
April 20, 2026
Auteurs: Rongyuan Tan, Jue Zhang, Zhuozhao Li, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang
cs.AI
Résumé
Les outils d'interprétabilité sont de plus en plus utilisés pour analyser les défaillances des modèles de langage de grande taille (LLM), mais les travaux antérieurs se concentrent largement sur des invites courtes ou des configurations simplifiées, laissant leur comportement sur les benchmarks couramment utilisés sous-exploré. Pour combler cette lacune, nous étudions l'attribution contrastive basée sur LRP comme un outil pratique pour analyser les échecs des LLM dans des contextes réalistes. Nous formulons l'analyse des défaillances comme une attribution contrastive, attribuant la différence de logit entre un jeton de sortie incorrect et une alternative correcte aux jetons d'entrée et aux états internes du modèle, et introduisons une extension efficace qui permet la construction de graphes d'attribution trans-couches pour des entrées à contexte long. En utilisant ce cadre, nous menons une étude empirique systématique sur plusieurs benchmarks, comparant les motifs d'attribution entre jeux de données, tailles de modèles et points de contrôle d'entraînement. Nos résultats montrent que cette attribution contrastive au niveau du jeton peut produire des signaux informatifs dans certains cas d'échec, mais n'est pas universellement applicable, soulignant à la fois son utilité et ses limites pour l'analyse réaliste des défaillances des LLM. Notre code est disponible à l'adresse : https://aka.ms/Debug-XAI.
English
Interpretability tools are increasingly used to analyze failures of Large Language Models (LLMs), yet prior work largely focuses on short prompts or toy settings, leaving their behavior on commonly used benchmarks underexplored. To address this gap, we study contrastive, LRP-based attribution as a practical tool for analyzing LLM failures in realistic settings. We formulate failure analysis as contrastive attribution, attributing the logit difference between an incorrect output token and a correct alternative to input tokens and internal model states, and introduce an efficient extension that enables construction of cross-layer attribution graphs for long-context inputs. Using this framework, we conduct a systematic empirical study across benchmarks, comparing attribution patterns across datasets, model sizes, and training checkpoints. Our results show that this token-level contrastive attribution can yield informative signals in some failure cases, but is not universally applicable, highlighting both its utility and its limitations for realistic LLM failure analysis. Our code is available at: https://aka.ms/Debug-XAI.