BERT como juez: Una alternativa robusta a los métodos léxicos para la evaluación eficiente de LLM basada en referencias

BERT-as-a-Judge: A Robust Alternative to Lexical Methods for Efficient Reference-Based LLM Evaluation

April 10, 2026

Autores: Hippolyte Gisserot-Boukhlef, Nicolas Boizard, Emmanuel Malherbe, Céline Hudelot, Pierre Colombo

cs.AI

Resumen

La evaluación precisa es fundamental para el ecosistema de los grandes modelos de lenguaje (LLM), ya que guía la selección de modelos y su adopción descendente en diversos casos de uso. Sin embargo, en la práctica, la evaluación de resultados generativos suele depender de métodos léxicos rígidos para extraer y valorar respuestas, lo que puede confundir la verdadera capacidad de resolución de problemas de un modelo con su adherencia a directrices de formato predefinidas. Aunque los enfoques recientes de LLM-como-Juez mitigan este problema al evaluar la corrección semántica en lugar de la conformidad estructural estricta, también introducen una sobrecarga computacional sustancial, haciendo que la evaluación sea costosa. En este trabajo, primero investigamos sistemáticamente las limitaciones de la evaluación léxica mediante un estudio empírico a gran escala que abarca 36 modelos y 15 tareas descendentes, demostrando que dichos métodos se correlacionan pobremente con los juicios humanos. Para abordar esta limitación, presentamos BERT-como-Juez, un enfoque basado en codificadores para evaluar la corrección de respuestas en entornos generativos basados en referencia, que es robusto frente a variaciones en la formulación de la salida y requiere solo un entrenamiento ligero sobre tripletas de pregunta-candidato-referencia anotadas sintéticamente. Demostramos que supera consistentemente la línea base léxica mientras iguala el rendimiento de jueces LLM mucho más grandes, ofreciendo un equilibrio convincente entre ambos y permitiendo una evaluación fiable y escalable. Finalmente, mediante una experimentación extensa, proporcionamos perspectivas detalladas sobre el rendimiento de BERT-como-Juez para ofrecer orientación práctica a los profesionales, y liberamos todos los artefactos del proyecto para fomentar la adopción descendente.

English

Accurate evaluation is central to the large language model (LLM) ecosystem, guiding model selection and downstream adoption across diverse use cases. In practice, however, evaluating generative outputs typically relies on rigid lexical methods to extract and assess answers, which can conflate a model's true problem-solving ability with its compliance with predefined formatting guidelines. While recent LLM-as-a-Judge approaches mitigate this issue by assessing semantic correctness rather than strict structural conformity, they also introduce substantial computational overhead, making evaluation costly. In this work, we first systematically investigate the limitations of lexical evaluation through a large-scale empirical study spanning 36 models and 15 downstream tasks, demonstrating that such methods correlate poorly with human judgments. To address this limitation, we introduce BERT-as-a-Judge, an encoder-driven approach for assessing answer correctness in reference-based generative settings, robust to variations in output phrasing, and requiring only lightweight training on synthetically annotated question-candidate-reference triplets. We show that it consistently outperforms the lexical baseline while matching the performance of much larger LLM judges, providing a compelling tradeoff between the two and enabling reliable, scalable evaluation. Finally, through extensive experimentation, we provide detailed insights into BERT-as-a-Judge's performance to offer practical guidance for practitioners, and release all project artifacts to foster downstream adoption.