Établir une évaluation fiable des LLM via l'analyse des neurones de raccourci
Establishing Trustworthy LLM Evaluation via Shortcut Neuron Analysis
June 4, 2025
Auteurs: Kejian Zhu, Shangqing Tu, Zhuoran Jin, Lei Hou, Juanzi Li, Jun Zhao
cs.AI
Résumé
Le développement des grands modèles de langage (LLMs) repose sur une évaluation fiable. Cependant, la plupart des évaluations actuelles s'appuient sur des benchmarks publics, qui sont sujets à des problèmes de contamination des données, compromettant ainsi significativement l'équité. Les recherches précédentes se sont concentrées sur la construction de benchmarks dynamiques pour résoudre ce problème de contamination. Néanmoins, la création continue de nouveaux benchmarks est coûteuse et cyclique. Dans ce travail, nous cherchons à aborder la contamination en analysant les mécanismes des modèles contaminés eux-mêmes. À travers nos expériences, nous découvrons que la surestimation des modèles contaminés est probablement due à l'acquisition de solutions de raccourci par les paramètres lors de l'entraînement. Nous proposons ensuite une méthode novatrice pour identifier les neurones de raccourci par une analyse comparative et causale. Sur cette base, nous introduisons une méthode d'évaluation appelée "shortcut neuron patching" pour supprimer ces neurones de raccourci. Les expériences valident l'efficacité de notre approche pour atténuer la contamination. De plus, nos résultats d'évaluation montrent une forte corrélation linéaire avec MixEval, un benchmark fiable récemment publié, atteignant un coefficient de Spearman (rho) supérieur à 0,95. Cette forte corrélation indique que notre méthode révèle de manière précise les véritables capacités des modèles et est digne de confiance. Nous menons des expériences supplémentaires pour démontrer la généralisabilité de notre méthode à travers divers benchmarks et configurations d'hyperparamètres. Code : https://github.com/GaryStack/Trustworthy-Evaluation
English
The development of large language models (LLMs) depends on trustworthy
evaluation. However, most current evaluations rely on public benchmarks, which
are prone to data contamination issues that significantly compromise fairness.
Previous researches have focused on constructing dynamic benchmarks to address
contamination. However, continuously building new benchmarks is costly and
cyclical. In this work, we aim to tackle contamination by analyzing the
mechanisms of contaminated models themselves. Through our experiments, we
discover that the overestimation of contaminated models is likely due to
parameters acquiring shortcut solutions in training. We further propose a novel
method for identifying shortcut neurons through comparative and causal
analysis. Building on this, we introduce an evaluation method called shortcut
neuron patching to suppress shortcut neurons. Experiments validate the
effectiveness of our approach in mitigating contamination. Additionally, our
evaluation results exhibit a strong linear correlation with MixEval, a recently
released trustworthy benchmark, achieving a Spearman coefficient (rho)
exceeding 0.95. This high correlation indicates that our method closely reveals
true capabilities of the models and is trustworthy. We conduct further
experiments to demonstrate the generalizability of our method across various
benchmarks and hyperparameter settings. Code:
https://github.com/GaryStack/Trustworthy-Evaluation