BERT-as-a-Judge: Una Solida Alternativa ai Metodi Lessicali per una Valutazione Efficace di LLM Basata su Riferimenti

BERT-as-a-Judge: A Robust Alternative to Lexical Methods for Efficient Reference-Based LLM Evaluation

April 10, 2026

Autori: Hippolyte Gisserot-Boukhlef, Nicolas Boizard, Emmanuel Malherbe, Céline Hudelot, Pierre Colombo

cs.AI

Abstract

La valutazione accurata è centrale nell'ecosistema dei grandi modelli linguistici (LLM), poiché guida la selezione dei modelli e la loro adozione downstream in una vasta gamma di casi d'uso. Tuttavia, nella pratica, la valutazione degli output generativi si basa tipicamente su metodi lessicali rigidi per estrarre e valutare le risposte, il che può confondere la reale capacità di problem solving di un modello con la sua conformità a linee guida predefinite di formattazione. Sebbene i recenti approcci LLM-as-a-Judge mitigano questo problema valutando la correttezza semantica piuttosto che la stretta conformità strutturale, introducono anche un sovraccarico computazionale sostanziale, rendendo la valutazione costosa. In questo lavoro, investigiamo prima sistematicamente i limiti della valutazione lessicale attraverso uno studio empirico su larga scala che copre 36 modelli e 15 task downstream, dimostrando che tali metodi correlano scarsamente con i giudizi umani. Per affrontare questa limitazione, introduciamo BERT-as-a-Judge, un approccio basato su encoder per valutare la correttezza delle risposte in contesti generativi basati su riferimento, robusto alle variazioni nella formulazione dell'output e che richiede solo un addestramento leggero su triplette domanda-candidato-riferimento annotate sinteticamente. Dimostriamo che supera costantemente la baseline lessicale eguagliando le prestazioni di giudici LLM molto più grandi, offrendo un compromesso convincente tra i due e abilitando una valutazione affidabile e scalabile. Infine, attraverso un'ampia sperimentazione, forniamo approfondimenti dettagliati sulle prestazioni di BERT-as-a-Judge per offrire una guida pratica agli operatori del settore e rilasciamo tutti gli artefatti del progetto per favorirne l'adozione downstream.

English

Accurate evaluation is central to the large language model (LLM) ecosystem, guiding model selection and downstream adoption across diverse use cases. In practice, however, evaluating generative outputs typically relies on rigid lexical methods to extract and assess answers, which can conflate a model's true problem-solving ability with its compliance with predefined formatting guidelines. While recent LLM-as-a-Judge approaches mitigate this issue by assessing semantic correctness rather than strict structural conformity, they also introduce substantial computational overhead, making evaluation costly. In this work, we first systematically investigate the limitations of lexical evaluation through a large-scale empirical study spanning 36 models and 15 downstream tasks, demonstrating that such methods correlate poorly with human judgments. To address this limitation, we introduce BERT-as-a-Judge, an encoder-driven approach for assessing answer correctness in reference-based generative settings, robust to variations in output phrasing, and requiring only lightweight training on synthetically annotated question-candidate-reference triplets. We show that it consistently outperforms the lexical baseline while matching the performance of much larger LLM judges, providing a compelling tradeoff between the two and enabling reliable, scalable evaluation. Finally, through extensive experimentation, we provide detailed insights into BERT-as-a-Judge's performance to offer practical guidance for practitioners, and release all project artifacts to foster downstream adoption.