BERT-어스-어-저지: 효율적인 참조 기반 LLM 평가를 위한 어휘적 방법의 강력한 대안

초록

정확한 평가는 대규모 언어 모델(LLM) 생태계의 핵심 요소로, 다양한 사용 사례에서 모델 선택과 하류 적용을 안내합니다. 그러나 실제로 생성형 출력을 평가할 때는 일반적으로 경직된 어휘적 방법을 통해 답변을 추출하고 평가하는데, 이는 모델의 진정한 문제 해결 능력과 미리 정의된 형식 지침 준수 여부를 혼동할 수 있습니다. 최근의 LLM-as-a-Judge 접근법은 엄격한 구조적 일치보다 의미적 정확성을 평가하여 이 문제를 완화하지만, 상당한 계산 오버헤드를 도입하여 평가 비용을 증가시킵니다. 본 연구에서는 먼저 36개 모델과 15개 하류 과제를 아우르는 대규모 실증 연구를 통해 어휘적 평가의 한계를 체계적으로 조사하고, 이러한 방법이 인간의 판단과 낮은 상관관계를 보임을 입증합니다. 이러한 한계를 해결하기 위해 참조 기반 생성 환경에서 답변 정확성을 평가하는 인코더 기반 접근법인 BERT-as-a-Judge를 소개합니다. 이 방법은 출력 표현의 변동에 강건하며, 합성적으로 주석이 달린 질문-후보-참조 삼중항에 대한 경량 학습만으로 구현됩니다. 본 접근법이 어휘적 기준선을 지속적으로 능가하는 동시에 훨씬 더 큰 LLM 평가자의 성능을 맞추어 두 방법 간 매력적인 절충점을 제공하고 신뢰할 수 있는 확장 가능한 평가를 가능하게 함을 보여줍니다. 마지막으로 광범위한 실험을 통해 BERT-as-a-Judge의 성능에 대한 세부적인 통찰을 제공하여 실무자들에게 실용적인 지침을 제시하고, 하류 적용을 촉진하기 위해 모든 프로젝트 산출물을 공개합니다.

English

Accurate evaluation is central to the large language model (LLM) ecosystem, guiding model selection and downstream adoption across diverse use cases. In practice, however, evaluating generative outputs typically relies on rigid lexical methods to extract and assess answers, which can conflate a model's true problem-solving ability with its compliance with predefined formatting guidelines. While recent LLM-as-a-Judge approaches mitigate this issue by assessing semantic correctness rather than strict structural conformity, they also introduce substantial computational overhead, making evaluation costly. In this work, we first systematically investigate the limitations of lexical evaluation through a large-scale empirical study spanning 36 models and 15 downstream tasks, demonstrating that such methods correlate poorly with human judgments. To address this limitation, we introduce BERT-as-a-Judge, an encoder-driven approach for assessing answer correctness in reference-based generative settings, robust to variations in output phrasing, and requiring only lightweight training on synthetically annotated question-candidate-reference triplets. We show that it consistently outperforms the lexical baseline while matching the performance of much larger LLM judges, providing a compelling tradeoff between the two and enabling reliable, scalable evaluation. Finally, through extensive experimentation, we provide detailed insights into BERT-as-a-Judge's performance to offer practical guidance for practitioners, and release all project artifacts to foster downstream adoption.

BERT-어스-어-저지: 효율적인 참조 기반 LLM 평가를 위한 어휘적 방법의 강력한 대안

BERT-as-a-Judge: A Robust Alternative to Lexical Methods for Efficient Reference-Based LLM Evaluation

초록

Support