Estabelecendo Avaliação Confiável de LLMs por meio de Análise de Neurônios de Atalho
Establishing Trustworthy LLM Evaluation via Shortcut Neuron Analysis
June 4, 2025
Autores: Kejian Zhu, Shangqing Tu, Zhuoran Jin, Lei Hou, Juanzi Li, Jun Zhao
cs.AI
Resumo
O desenvolvimento de grandes modelos de linguagem (LLMs) depende de avaliações confiáveis. No entanto, a maioria das avaliações atuais se baseia em benchmarks públicos, que são suscetíveis a problemas de contaminação de dados, comprometendo significativamente a justiça. Pesquisas anteriores focaram na construção de benchmarks dinâmicos para abordar a contaminação. Entretanto, a criação contínua de novos benchmarks é custosa e cíclica. Neste trabalho, buscamos enfrentar a contaminação analisando os mecanismos dos próprios modelos contaminados. Por meio de nossos experimentos, descobrimos que a superestimação dos modelos contaminados provavelmente ocorre porque os parâmetros adquirem soluções de atalho durante o treinamento. Propomos ainda um método inovador para identificar neurônios de atalho por meio de análises comparativas e causais. Com base nisso, introduzimos um método de avaliação chamado "shortcut neuron patching" para suprimir neurônios de atalho. Experimentos validam a eficácia de nossa abordagem na mitigação da contaminação. Além disso, nossos resultados de avaliação exibem uma forte correlação linear com o MixEval, um benchmark confiável recentemente lançado, alcançando um coeficiente de Spearman (rho) superior a 0,95. Essa alta correlação indica que nosso método revela de forma precisa as verdadeiras capacidades dos modelos e é confiável. Realizamos experimentos adicionais para demonstrar a generalizabilidade de nosso método em diversos benchmarks e configurações de hiperparâmetros. Código: https://github.com/GaryStack/Trustworthy-Evaluation
English
The development of large language models (LLMs) depends on trustworthy
evaluation. However, most current evaluations rely on public benchmarks, which
are prone to data contamination issues that significantly compromise fairness.
Previous researches have focused on constructing dynamic benchmarks to address
contamination. However, continuously building new benchmarks is costly and
cyclical. In this work, we aim to tackle contamination by analyzing the
mechanisms of contaminated models themselves. Through our experiments, we
discover that the overestimation of contaminated models is likely due to
parameters acquiring shortcut solutions in training. We further propose a novel
method for identifying shortcut neurons through comparative and causal
analysis. Building on this, we introduce an evaluation method called shortcut
neuron patching to suppress shortcut neurons. Experiments validate the
effectiveness of our approach in mitigating contamination. Additionally, our
evaluation results exhibit a strong linear correlation with MixEval, a recently
released trustworthy benchmark, achieving a Spearman coefficient (rho)
exceeding 0.95. This high correlation indicates that our method closely reveals
true capabilities of the models and is trustworthy. We conduct further
experiments to demonstrate the generalizability of our method across various
benchmarks and hyperparameter settings. Code:
https://github.com/GaryStack/Trustworthy-Evaluation