BERT-als-Richter: Eine robuste Alternative zu lexikalischen Methoden für effiziente referenzbasierte LLM-Evaluierung

BERT-as-a-Judge: A Robust Alternative to Lexical Methods for Efficient Reference-Based LLM Evaluation

April 10, 2026

Autoren: Hippolyte Gisserot-Boukhlef, Nicolas Boizard, Emmanuel Malherbe, Céline Hudelot, Pierre Colombo

cs.AI

Zusammenfassung

Eine genaue Bewertung ist zentral für das Ökosystem der großen Sprachmodelle (LLM), da sie die Modellauswahl und die nachgelagerte Anwendung in verschiedenen Use-Cases lenkt. In der Praxis stützt sich die Bewertung generativer Ausgaben jedoch typischerweise auf rigide lexikalische Methoden zur Extraktion und Beurteilung von Antworten, wodurch die eigentliche Problemlösungsfähigkeit eines Modells mit seiner Einhaltung vordefinierter Formatierungsrichtlinien vermengt werden kann. Während neuere LLM-as-a-Judge-Ansätze dieses Problem mildern, indem sie die semantische Korrektheit anstelle strikter struktureller Konformität bewerten, führen sie auch erheblichen Rechenaufwand ein, was die Evaluation kostspielig macht. In dieser Arbeit untersuchen wir zunächst systematisch die Grenzen lexikalischer Evaluation durch eine groß angelegte empirische Studie über 36 Modelle und 15 nachgelagerte Aufgaben hinweg und zeigen, dass solche Methoden schlecht mit menschlichen Urteilen korrelieren. Um diese Einschränkung zu adressieren, führen wir BERT-as-a-Judge ein, einen encoder-basierten Ansatz zur Bewertung der Antwortkorrektheit in referenzbasierten generativen Settings, der robust gegenüber Variationen in der Ausdrucksweise ist und nur leichtgewichtiges Training auf synthetisch annotierten Frage-Kandidaten-Referenz-Tripeln erfordert. Wir zeigen, dass er durchgängig die lexikalische Baseline übertrifft und dabei die Leistung viel größerer LLM-Judge-Modelle erreicht, was einen überzeugenden Kompromiss zwischen beiden darstellt und eine zuverlässige, skalierbare Evaluation ermöglicht. Abschließend liefern wir durch umfangreiche Experimente detaillierte Einblicke in die Leistung von BERT-as-a-Judge, um praktische Leitlinien für Anwender zu bieten, und veröffentlichen alle Projektartefakte, um die nachgelagerte Nutzung zu fördern.

English

Accurate evaluation is central to the large language model (LLM) ecosystem, guiding model selection and downstream adoption across diverse use cases. In practice, however, evaluating generative outputs typically relies on rigid lexical methods to extract and assess answers, which can conflate a model's true problem-solving ability with its compliance with predefined formatting guidelines. While recent LLM-as-a-Judge approaches mitigate this issue by assessing semantic correctness rather than strict structural conformity, they also introduce substantial computational overhead, making evaluation costly. In this work, we first systematically investigate the limitations of lexical evaluation through a large-scale empirical study spanning 36 models and 15 downstream tasks, demonstrating that such methods correlate poorly with human judgments. To address this limitation, we introduce BERT-as-a-Judge, an encoder-driven approach for assessing answer correctness in reference-based generative settings, robust to variations in output phrasing, and requiring only lightweight training on synthetically annotated question-candidate-reference triplets. We show that it consistently outperforms the lexical baseline while matching the performance of much larger LLM judges, providing a compelling tradeoff between the two and enabling reliable, scalable evaluation. Finally, through extensive experimentation, we provide detailed insights into BERT-as-a-Judge's performance to offer practical guidance for practitioners, and release all project artifacts to foster downstream adoption.