Establecimiento de Evaluaciones Confiables de LLM mediante Análisis de Neuronas de Atajo

Establishing Trustworthy LLM Evaluation via Shortcut Neuron Analysis

June 4, 2025

Autores: Kejian Zhu, Shangqing Tu, Zhuoran Jin, Lei Hou, Juanzi Li, Jun Zhao

cs.AI

Resumen

El desarrollo de modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) depende de una evaluación confiable. Sin embargo, la mayoría de las evaluaciones actuales se basan en benchmarks públicos, los cuales son propensos a problemas de contaminación de datos que comprometen significativamente la equidad. Investigaciones previas se han centrado en la construcción de benchmarks dinámicos para abordar la contaminación. No obstante, la creación continua de nuevos benchmarks es costosa y cíclica. En este trabajo, buscamos abordar la contaminación analizando los mecanismos de los modelos contaminados mismos. A través de nuestros experimentos, descubrimos que la sobreestimación de los modelos contaminados probablemente se debe a que los parámetros adquieren soluciones de atajo durante el entrenamiento. Además, proponemos un método novedoso para identificar neuronas de atajo mediante análisis comparativo y causal. Basándonos en esto, introducimos un método de evaluación llamado "parcheo de neuronas de atajo" para suprimir estas neuronas. Los experimentos validan la efectividad de nuestro enfoque para mitigar la contaminación. Adicionalmente, nuestros resultados de evaluación muestran una fuerte correlación lineal con MixEval, un benchmark confiable recientemente lanzado, alcanzando un coeficiente de Spearman (rho) superior a 0.95. Esta alta correlación indica que nuestro método revela de manera cercana las capacidades reales de los modelos y es confiable. Realizamos más experimentos para demostrar la generalizabilidad de nuestro método en diversos benchmarks y configuraciones de hiperparámetros. Código: https://github.com/GaryStack/Trustworthy-Evaluation.

English

The development of large language models (LLMs) depends on trustworthy evaluation. However, most current evaluations rely on public benchmarks, which are prone to data contamination issues that significantly compromise fairness. Previous researches have focused on constructing dynamic benchmarks to address contamination. However, continuously building new benchmarks is costly and cyclical. In this work, we aim to tackle contamination by analyzing the mechanisms of contaminated models themselves. Through our experiments, we discover that the overestimation of contaminated models is likely due to parameters acquiring shortcut solutions in training. We further propose a novel method for identifying shortcut neurons through comparative and causal analysis. Building on this, we introduce an evaluation method called shortcut neuron patching to suppress shortcut neurons. Experiments validate the effectiveness of our approach in mitigating contamination. Additionally, our evaluation results exhibit a strong linear correlation with MixEval, a recently released trustworthy benchmark, achieving a Spearman coefficient (rho) exceeding 0.95. This high correlation indicates that our method closely reveals true capabilities of the models and is trustworthy. We conduct further experiments to demonstrate the generalizability of our method across various benchmarks and hyperparameter settings. Code: https://github.com/GaryStack/Trustworthy-Evaluation