Etablierung vertrauenswürdiger LLM-Evaluierung durch Analyse von Shortcut-Neuronen
Establishing Trustworthy LLM Evaluation via Shortcut Neuron Analysis
June 4, 2025
Autoren: Kejian Zhu, Shangqing Tu, Zhuoran Jin, Lei Hou, Juanzi Li, Jun Zhao
cs.AI
Zusammenfassung
Die Entwicklung großer Sprachmodelle (LLMs) hängt von einer vertrauenswürdigen Evaluierung ab. Die meisten aktuellen Evaluierungen stützen sich jedoch auf öffentliche Benchmarks, die anfällig für Datenkontaminationsprobleme sind, was die Fairness erheblich beeinträchtigt. Frühere Forschungen haben sich auf die Konstruktion dynamischer Benchmarks konzentriert, um Kontamination zu adressieren. Die kontinuierliche Erstellung neuer Benchmarks ist jedoch kostspielig und zyklisch. In dieser Arbeit zielen wir darauf ab, Kontamination zu bekämpfen, indem wir die Mechanismen kontaminierter Modelle selbst analysieren. Durch unsere Experimente entdecken wir, dass die Überschätzung kontaminierter Modelle wahrscheinlich darauf zurückzuführen ist, dass Parameter während des Trainings Abkürzungslösungen erwerben. Wir schlagen weiterhin eine neuartige Methode zur Identifizierung von Abkürzungsneuronen durch vergleichende und kausale Analyse vor. Aufbauend darauf führen wir eine Evaluierungsmethode namens „Shortcut Neuron Patching“ ein, um Abkürzungsneuronen zu unterdrücken. Experimente bestätigen die Wirksamkeit unseres Ansatzes bei der Minderung von Kontamination. Zusätzlich zeigen unsere Evaluierungsergebnisse eine starke lineare Korrelation mit MixEval, einem kürzlich veröffentlichten vertrauenswürdigen Benchmark, und erreichen einen Spearman-Koeffizienten (rho) von über 0,95. Diese hohe Korrelation zeigt, dass unsere Methode die wahren Fähigkeiten der Modelle eng offenbart und vertrauenswürdig ist. Wir führen weitere Experimente durch, um die Generalisierbarkeit unserer Methode über verschiedene Benchmarks und Hyperparameter-Einstellungen hinweg zu demonstrieren. Code: https://github.com/GaryStack/Trustworthy-Evaluation
English
The development of large language models (LLMs) depends on trustworthy
evaluation. However, most current evaluations rely on public benchmarks, which
are prone to data contamination issues that significantly compromise fairness.
Previous researches have focused on constructing dynamic benchmarks to address
contamination. However, continuously building new benchmarks is costly and
cyclical. In this work, we aim to tackle contamination by analyzing the
mechanisms of contaminated models themselves. Through our experiments, we
discover that the overestimation of contaminated models is likely due to
parameters acquiring shortcut solutions in training. We further propose a novel
method for identifying shortcut neurons through comparative and causal
analysis. Building on this, we introduce an evaluation method called shortcut
neuron patching to suppress shortcut neurons. Experiments validate the
effectiveness of our approach in mitigating contamination. Additionally, our
evaluation results exhibit a strong linear correlation with MixEval, a recently
released trustworthy benchmark, achieving a Spearman coefficient (rho)
exceeding 0.95. This high correlation indicates that our method closely reveals
true capabilities of the models and is trustworthy. We conduct further
experiments to demonstrate the generalizability of our method across various
benchmarks and hyperparameter settings. Code:
https://github.com/GaryStack/Trustworthy-Evaluation