BERT-as-a-Judge：語彙ベース手法に代わる、効率的な参照基準型LLM評価の堅牢な代替手法

要旨

正確な評価は大規模言語モデル（LLM）エコシステムの中核を成す要素であり、多様なユースケースにおけるモデル選択と下流応用を導く役割を果たしている。しかし実際には、生成的出力の評価は通常、回答を抽出・評価するための硬直的な字句的手法に依存しており、これによりモデルの真の問題解決能力と事前定義された形式ガイドラインへの準拠度が混同される危険性がある。近年のLLM-as-a-Judge手法は、厳密な構造的一致ではなく意味的正確性を評価することでこの問題を緩和するが、大幅な計算コストを導入するため評価を高価なものにしている。本研究ではまず、36のモデルと15の下流タスクにまたがる大規模実証研究を通じて字句評価の限界を体系的に調査し、このような手法が人間の判断と低い相関しか示さないことを実証する。この限界に対処するため、参照ベースの生成的設定において回答の正確性を評価するエンコーダ駆動型アプローチ「BERT-as-a-Judge」を提案する。この手法は出力表現のバリエーションに対して頑健であり、合成的に注釈付けされた質問-候補回答-参照文の三重項に対する軽量な訓練のみを必要とする。我々は本手法が字句ベースラインを一貫して上回り、はるかに大規模なLLM評価器と同等の性能を発揮することを示し、両者の間の理想的なバランスを提供するとともに信頼性の高いスケーラブルな評価を実現する。最後に、広範な実験を通じてBERT-as-a-Judgeの性能に関する詳細な知見を提供し実践者向けの実用的な指針を示すとともに、全てのプロジェクト成果物を公開して下流応用の促進を図る。

English

Accurate evaluation is central to the large language model (LLM) ecosystem, guiding model selection and downstream adoption across diverse use cases. In practice, however, evaluating generative outputs typically relies on rigid lexical methods to extract and assess answers, which can conflate a model's true problem-solving ability with its compliance with predefined formatting guidelines. While recent LLM-as-a-Judge approaches mitigate this issue by assessing semantic correctness rather than strict structural conformity, they also introduce substantial computational overhead, making evaluation costly. In this work, we first systematically investigate the limitations of lexical evaluation through a large-scale empirical study spanning 36 models and 15 downstream tasks, demonstrating that such methods correlate poorly with human judgments. To address this limitation, we introduce BERT-as-a-Judge, an encoder-driven approach for assessing answer correctness in reference-based generative settings, robust to variations in output phrasing, and requiring only lightweight training on synthetically annotated question-candidate-reference triplets. We show that it consistently outperforms the lexical baseline while matching the performance of much larger LLM judges, providing a compelling tradeoff between the two and enabling reliable, scalable evaluation. Finally, through extensive experimentation, we provide detailed insights into BERT-as-a-Judge's performance to offer practical guidance for practitioners, and release all project artifacts to foster downstream adoption.

BERT-as-a-Judge：語彙ベース手法に代わる、効率的な参照基準型LLM評価の堅牢な代替手法

BERT-as-a-Judge: A Robust Alternative to Lexical Methods for Efficient Reference-Based LLM Evaluation

要旨

Support