Het vaststellen van betrouwbare LLM-evaluatie via shortcut neuronanalyse
Establishing Trustworthy LLM Evaluation via Shortcut Neuron Analysis
June 4, 2025
Auteurs: Kejian Zhu, Shangqing Tu, Zhuoran Jin, Lei Hou, Juanzi Li, Jun Zhao
cs.AI
Samenvatting
De ontwikkeling van grote taalmodellen (LLMs) is afhankelijk van betrouwbare evaluatie. De meeste huidige evaluaties zijn echter gebaseerd op openbare benchmarks, die gevoelig zijn voor problemen met gegevensvervuiling die de eerlijkheid aanzienlijk aantasten. Eerdere onderzoeken hebben zich gericht op het construeren van dynamische benchmarks om vervuiling aan te pakken. Het continu bouwen van nieuwe benchmarks is echter kostbaar en cyclisch. In dit werk streven we ernaar om vervuiling aan te pakken door de mechanismen van vervuilde modellen zelf te analyseren. Door onze experimenten ontdekken we dat de overschatting van vervuilde modellen waarschijnlijk te wijten is aan parameters die tijdens de training snelkoppelingen verwerven. We stellen verder een nieuwe methode voor om snelkoppelingsneuronen te identificeren door middel van vergelijkende en causale analyse. Hierop voortbouwend introduceren we een evaluatiemethode genaamd snelkoppelingsneuronpatchen om snelkoppelingsneuronen te onderdrukken. Experimenten valideren de effectiviteit van onze aanpak bij het verminderen van vervuiling. Daarnaast vertonen onze evaluatieresultaten een sterke lineaire correlatie met MixEval, een recent vrijgegeven betrouwbare benchmark, met een Spearman-coëfficiënt (rho) van meer dan 0,95. Deze hoge correlatie geeft aan dat onze methode de ware capaciteiten van de modellen nauwkeurig onthult en betrouwbaar is. We voeren verdere experimenten uit om de generaliseerbaarheid van onze methode over verschillende benchmarks en hyperparameterinstellingen aan te tonen. Code: https://github.com/GaryStack/Trustworthy-Evaluation
English
The development of large language models (LLMs) depends on trustworthy
evaluation. However, most current evaluations rely on public benchmarks, which
are prone to data contamination issues that significantly compromise fairness.
Previous researches have focused on constructing dynamic benchmarks to address
contamination. However, continuously building new benchmarks is costly and
cyclical. In this work, we aim to tackle contamination by analyzing the
mechanisms of contaminated models themselves. Through our experiments, we
discover that the overestimation of contaminated models is likely due to
parameters acquiring shortcut solutions in training. We further propose a novel
method for identifying shortcut neurons through comparative and causal
analysis. Building on this, we introduce an evaluation method called shortcut
neuron patching to suppress shortcut neurons. Experiments validate the
effectiveness of our approach in mitigating contamination. Additionally, our
evaluation results exhibit a strong linear correlation with MixEval, a recently
released trustworthy benchmark, achieving a Spearman coefficient (rho)
exceeding 0.95. This high correlation indicates that our method closely reveals
true capabilities of the models and is trustworthy. We conduct further
experiments to demonstrate the generalizability of our method across various
benchmarks and hyperparameter settings. Code:
https://github.com/GaryStack/Trustworthy-Evaluation