BERT-as-a-Rechter: Een Robuust Alternatief voor Lexicale Methoden voor Efficiënte Referentiegebaseerde LLM-evaluatie

BERT-as-a-Judge: A Robust Alternative to Lexical Methods for Efficient Reference-Based LLM Evaluation

April 10, 2026

Auteurs: Hippolyte Gisserot-Boukhlef, Nicolas Boizard, Emmanuel Malherbe, Céline Hudelot, Pierre Colombo

cs.AI

Samenvatting

Nauwkeurige evaluatie staat centraal in het ecosysteem van grote taalmodellen (LLM's) en leidt modelselectie en downstream-toepassing in uiteenlopende use cases. In de praktijk steunt de evaluatie van generatieve output echter meestal op rigoureuze lexicale methoden om antwoorden te extraheren en te beoordelen, waardoor het werkelijke probleemoplossend vermogen van een model verward kan worden met de naleving van vooraf gedefinieerde opmaakrichtlijnen. Hoewel recente LLM-as-a-Judge-benaderingen dit probleem verzachten door semantische correctheid te beoordelen in plaats van strikte structurele conformiteit, brengen ze ook aanzienlijke rekenkosten met zich mee, wat evaluatie duur maakt. In dit werk onderzoeken we eerst systematisch de beperkingen van lexicale evaluatie via een grootschalige empirische studie over 36 modellen en 15 downstream-taken, waarbij we aantonen dat dergelijke methoden slecht correleren met menselijke oordelen. Om deze beperking aan te pakken, introduceren we BERT-as-a-Judge, een encoder-gedreven benadering voor het beoordelen van antwoordcorrectheid in referentiegebaseerde generatieve settings, die robuust is tegen variaties in outputformulering en slechts lichtgewicht training vereist op synthetisch geannoteerde vraag-kandidaat-referentie-triplets. We tonen aan dat deze methode consistent beter presteert dan de lexicale baseline, terwijl de prestaties evenaren van veel grotere LLM-rechters, waardoor een overtuigende afweging tussen beide mogelijk wordt en betrouwbare, schaalbare evaluatie wordt gefaciliteerd. Ten slotte bieden we via uitgebreide experimentering gedetailleerde inzichten in de prestaties van BERT-as-a-Judge om praktische richtlijnen te bieden voor professionals, en geven we alle projectartefacten vrij om downstream-toepassing te bevorderen.

English

Accurate evaluation is central to the large language model (LLM) ecosystem, guiding model selection and downstream adoption across diverse use cases. In practice, however, evaluating generative outputs typically relies on rigid lexical methods to extract and assess answers, which can conflate a model's true problem-solving ability with its compliance with predefined formatting guidelines. While recent LLM-as-a-Judge approaches mitigate this issue by assessing semantic correctness rather than strict structural conformity, they also introduce substantial computational overhead, making evaluation costly. In this work, we first systematically investigate the limitations of lexical evaluation through a large-scale empirical study spanning 36 models and 15 downstream tasks, demonstrating that such methods correlate poorly with human judgments. To address this limitation, we introduce BERT-as-a-Judge, an encoder-driven approach for assessing answer correctness in reference-based generative settings, robust to variations in output phrasing, and requiring only lightweight training on synthetically annotated question-candidate-reference triplets. We show that it consistently outperforms the lexical baseline while matching the performance of much larger LLM judges, providing a compelling tradeoff between the two and enabling reliable, scalable evaluation. Finally, through extensive experimentation, we provide detailed insights into BERT-as-a-Judge's performance to offer practical guidance for practitioners, and release all project artifacts to foster downstream adoption.