Extracción de conclusiones a partir de muestras: Replanteamiento de la semántica de preferencias en la evaluación de LLM de estilo arena

Drawing Conclusions from Draws: Rethinking Preference Semantics in Arena-Style LLM Evaluation

October 2, 2025

Autores: Raphael Tang, Crystina Zhang, Wenyan Li, Carmen Lai, Pontus Stenetorp, Yao Lu

cs.AI

Resumen

En la evaluación de modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) en formato de arena, dos LLMs responden a una consulta del usuario, y este elige la respuesta ganadora o declara el "enfrentamiento" como un empate, lo que resulta en un ajuste de las calificaciones de ambos modelos. El enfoque predominante para modelar estas dinámicas de calificación es considerar los enfrentamientos como partidas de un juego de dos jugadores, como en el ajedrez, y aplicar el sistema de calificación Elo y sus derivados. En este artículo, examinamos críticamente este paradigma. Específicamente, cuestionamos si un empate realmente significa que los dos modelos son iguales y, por lo tanto, si sus calificaciones deberían igualarse. En su lugar, planteamos la hipótesis de que los empates son más indicativos de la dificultad de la consulta: si la consulta es demasiado fácil, es más probable que ambos modelos tengan éxito por igual. En tres conjuntos de datos de arena del mundo real, demostramos que ignorar las actualizaciones de calificación en caso de empate produce un aumento relativo del 1-3% en la precisión de la predicción de los resultados de los enfrentamientos (que incluyen empates) para los cuatro sistemas de calificación estudiados. Análisis adicionales sugieren que los empates ocurren con mayor frecuencia en consultas calificadas como muy fáciles y aquellas altamente objetivas, con razones de riesgo de 1.37 y 1.35, respectivamente. Recomendamos que los futuros sistemas de calificación reconsideren la semántica actual de los empates y tengan en cuenta las propiedades de las consultas en las actualizaciones de calificación.

English

In arena-style evaluation of large language models (LLMs), two LLMs respond to a user query, and the user chooses the winning response or deems the "battle" a draw, resulting in an adjustment to the ratings of both models. The prevailing approach for modeling these rating dynamics is to view battles as two-player game matches, as in chess, and apply the Elo rating system and its derivatives. In this paper, we critically examine this paradigm. Specifically, we question whether a draw genuinely means that the two models are equal and hence whether their ratings should be equalized. Instead, we conjecture that draws are more indicative of query difficulty: if the query is too easy, then both models are more likely to succeed equally. On three real-world arena datasets, we show that ignoring rating updates for draws yields a 1-3% relative increase in battle outcome prediction accuracy (which includes draws) for all four rating systems studied. Further analyses suggest that draws occur more for queries rated as very easy and those as highly objective, with risk ratios of 1.37 and 1.35, respectively. We recommend future rating systems to reconsider existing draw semantics and to account for query properties in rating updates.