신뢰할 수 있는 LLM 평가를 위한 단축경로 뉴런 분석 방법 구축

초록

대규모 언어 모델(LLM)의 개발은 신뢰할 수 있는 평가에 의존한다. 그러나 현재 대부분의 평가는 공개 벤치마크를 기반으로 하며, 이는 데이터 오염 문제에 취약하여 공정성을 크게 저해할 수 있다. 기존 연구는 오염 문제를 해결하기 위해 동적 벤치마크 구축에 초점을 맞추어 왔다. 그러나 지속적으로 새로운 벤치마크를 구축하는 것은 비용이 많이 들고 순환적인 문제를 야기한다. 본 연구에서는 오염된 모델 자체의 메커니즘을 분석함으로써 오염 문제를 해결하고자 한다. 실험을 통해 오염된 모델의 과대평가는 훈련 과정에서 매개변수가 단축 해결책(shortcut solution)을 획득하기 때문일 가능성이 높다는 것을 발견했다. 또한, 비교 및 인과 분석을 통해 단축 뉴런(shortcut neuron)을 식별하는 새로운 방법을 제안한다. 이를 바탕으로 단축 뉴런을 억제하기 위한 평가 방법인 단축 뉴런 패칭(shortcut neuron patching)을 소개한다. 실험 결과, 본 접근법이 오염을 완화하는 데 효과적임이 검증되었다. 더불어, 본 평가 결과는 최근 출시된 신뢰할 수 있는 벤치마크인 MixEval과 강한 선형 상관관계를 보이며, 스피어만 계수(rho)가 0.95를 초과한다. 이는 본 방법이 모델의 진정한 능력을 밝히고 신뢰할 수 있음을 나타낸다. 추가 실험을 통해 본 방법이 다양한 벤치마크와 하이퍼파라미터 설정에서 일반화 가능함을 입증한다. 코드: https://github.com/GaryStack/Trustworthy-Evaluation

English

The development of large language models (LLMs) depends on trustworthy evaluation. However, most current evaluations rely on public benchmarks, which are prone to data contamination issues that significantly compromise fairness. Previous researches have focused on constructing dynamic benchmarks to address contamination. However, continuously building new benchmarks is costly and cyclical. In this work, we aim to tackle contamination by analyzing the mechanisms of contaminated models themselves. Through our experiments, we discover that the overestimation of contaminated models is likely due to parameters acquiring shortcut solutions in training. We further propose a novel method for identifying shortcut neurons through comparative and causal analysis. Building on this, we introduce an evaluation method called shortcut neuron patching to suppress shortcut neurons. Experiments validate the effectiveness of our approach in mitigating contamination. Additionally, our evaluation results exhibit a strong linear correlation with MixEval, a recently released trustworthy benchmark, achieving a Spearman coefficient (rho) exceeding 0.95. This high correlation indicates that our method closely reveals true capabilities of the models and is trustworthy. We conduct further experiments to demonstrate the generalizability of our method across various benchmarks and hyperparameter settings. Code: https://github.com/GaryStack/Trustworthy-Evaluation

신뢰할 수 있는 LLM 평가를 위한 단축경로 뉴런 분석 방법 구축

Establishing Trustworthy LLM Evaluation via Shortcut Neuron Analysis

초록

Support