BERT en tant que Juge : Une Alternative Robuste aux Méthodes Lexicales pour l'Évaluation Efficace des LLM Basée sur des Références

BERT-as-a-Judge: A Robust Alternative to Lexical Methods for Efficient Reference-Based LLM Evaluation

April 10, 2026

Auteurs: Hippolyte Gisserot-Boukhlef, Nicolas Boizard, Emmanuel Malherbe, Céline Hudelot, Pierre Colombo

cs.AI

Résumé

L'évaluation précise est au cœur de l'écosystème des grands modèles de langage (LLM), guidant la sélection des modèles et leur adoption en aval dans divers cas d'usage. En pratique, cependant, l'évaluation des sorties génératives repose généralement sur des méthodes lexicales rigides pour extraire et évaluer les réponses, ce qui peut confondre la véritable capacité de résolution de problèmes d'un modèle avec sa conformité à des directives de formatage prédéfinies. Bien que les approches récentes de type « LLM-en-tant-que-Juge » atténuent ce problème en évaluant l'exactitude sémantique plutôt que la conformité structurelle stricte, elles introduisent également une surcharge computationnelle substantielle, rendant l'évaluation coûteuse. Dans ce travail, nous investiguons d'abord systématiquement les limites de l'évaluation lexicale à travers une étude empirique à grande échelle couvrant 36 modèles et 15 tâches en aval, démontrant que ces méthodes corrèlent faiblement avec les jugements humains. Pour pallier cette limite, nous présentons « BERT-en-tant-que-Juge », une approche basée sur un encodeur pour évaluer l'exactitude des réponses dans des cadres génératifs avec référence, robuste aux variations de formulation en sortie et ne nécessitant qu'un entraînement léger sur des triplets question-candidat-référence annotés synthétiquement. Nous montrons qu'elle surpasse systématiquement la baseline lexicale tout en égalant les performances de juges LLM bien plus grands, offrant un compromis convaincant entre les deux et permettant une évaluation fiable et évolutive. Enfin, par une expérimentation extensive, nous fournissons des insights détaillés sur les performances de BERT-en-tant-que-Juge pour offrir des conseils pratiques aux praticiens, et nous publions tous les artefacts du projet pour favoriser l'adoption en aval.

English

Accurate evaluation is central to the large language model (LLM) ecosystem, guiding model selection and downstream adoption across diverse use cases. In practice, however, evaluating generative outputs typically relies on rigid lexical methods to extract and assess answers, which can conflate a model's true problem-solving ability with its compliance with predefined formatting guidelines. While recent LLM-as-a-Judge approaches mitigate this issue by assessing semantic correctness rather than strict structural conformity, they also introduce substantial computational overhead, making evaluation costly. In this work, we first systematically investigate the limitations of lexical evaluation through a large-scale empirical study spanning 36 models and 15 downstream tasks, demonstrating that such methods correlate poorly with human judgments. To address this limitation, we introduce BERT-as-a-Judge, an encoder-driven approach for assessing answer correctness in reference-based generative settings, robust to variations in output phrasing, and requiring only lightweight training on synthetically annotated question-candidate-reference triplets. We show that it consistently outperforms the lexical baseline while matching the performance of much larger LLM judges, providing a compelling tradeoff between the two and enabling reliable, scalable evaluation. Finally, through extensive experimentation, we provide detailed insights into BERT-as-a-Judge's performance to offer practical guidance for practitioners, and release all project artifacts to foster downstream adoption.