Установление надежной оценки языковых моделей через анализ нейронов, отвечающих за использование "коротких путей"

Establishing Trustworthy LLM Evaluation via Shortcut Neuron Analysis

June 4, 2025

Авторы: Kejian Zhu, Shangqing Tu, Zhuoran Jin, Lei Hou, Juanzi Li, Jun Zhao

cs.AI

Аннотация

Разработка крупных языковых моделей (LLM) зависит от надежной оценки. Однако большинство текущих оценок опираются на публичные бенчмарки, которые подвержены проблемам загрязнения данных, что значительно снижает справедливость. Предыдущие исследования были сосредоточены на создании динамических бенчмарков для решения проблемы загрязнения. Однако постоянное создание новых бенчмарков является затратным и циклическим процессом. В данной работе мы стремимся решить проблему загрязнения путем анализа механизмов самих загрязненных моделей. В ходе экспериментов мы обнаруживаем, что завышенная оценка загрязненных моделей, вероятно, связана с тем, что параметры приобретают "короткие пути" в процессе обучения. Мы также предлагаем новый метод идентификации нейронов, отвечающих за "короткие пути", с помощью сравнительного и причинно-следственного анализа. На основе этого мы вводим метод оценки, называемый "исправлением нейронов коротких путей", для подавления таких нейронов. Эксперименты подтверждают эффективность нашего подхода в снижении загрязнения. Кроме того, результаты нашей оценки демонстрируют сильную линейную корреляцию с MixEval, недавно выпущенным надежным бенчмарком, достигая коэффициента Спирмена (rho) выше 0,95. Такая высокая корреляция указывает на то, что наш метод точно раскрывает истинные возможности моделей и является надежным. Мы проводим дополнительные эксперименты, чтобы продемонстрировать универсальность нашего метода для различных бенчмарков и настроек гиперпараметров. Код: https://github.com/GaryStack/Trustworthy-Evaluation

English

The development of large language models (LLMs) depends on trustworthy evaluation. However, most current evaluations rely on public benchmarks, which are prone to data contamination issues that significantly compromise fairness. Previous researches have focused on constructing dynamic benchmarks to address contamination. However, continuously building new benchmarks is costly and cyclical. In this work, we aim to tackle contamination by analyzing the mechanisms of contaminated models themselves. Through our experiments, we discover that the overestimation of contaminated models is likely due to parameters acquiring shortcut solutions in training. We further propose a novel method for identifying shortcut neurons through comparative and causal analysis. Building on this, we introduce an evaluation method called shortcut neuron patching to suppress shortcut neurons. Experiments validate the effectiveness of our approach in mitigating contamination. Additionally, our evaluation results exhibit a strong linear correlation with MixEval, a recently released trustworthy benchmark, achieving a Spearman coefficient (rho) exceeding 0.95. This high correlation indicates that our method closely reveals true capabilities of the models and is trustworthy. We conduct further experiments to demonstrate the generalizability of our method across various benchmarks and hyperparameter settings. Code: https://github.com/GaryStack/Trustworthy-Evaluation