ChatPaper.aiChatPaper

Tirer des conclusions des tirages : Repenser la sémantique des préférences dans l'évaluation des LLM de style arène

Drawing Conclusions from Draws: Rethinking Preference Semantics in Arena-Style LLM Evaluation

October 2, 2025
papers.authors: Raphael Tang, Crystina Zhang, Wenyan Li, Carmen Lai, Pontus Stenetorp, Yao Lu
cs.AI

papers.abstract

Dans l'évaluation de type arène des grands modèles de langage (LLMs), deux LLMs répondent à une requête utilisateur, et l'utilisateur choisit la réponse gagnante ou considère le "combat" comme un match nul, ce qui entraîne un ajustement des classements des deux modèles. L'approche dominante pour modéliser ces dynamiques de classement consiste à considérer les combats comme des matchs de jeu à deux joueurs, comme aux échecs, et à appliquer le système de classement Elo et ses dérivés. Dans cet article, nous examinons de manière critique ce paradigme. Plus précisément, nous nous interrogeons sur le fait qu'un match nul signifie véritablement que les deux modèles sont égaux et, par conséquent, si leurs classements devraient être égalisés. Nous conjecturons plutôt que les matchs nuls sont davantage indicatifs de la difficulté de la requête : si la requête est trop facile, les deux modèles ont plus de chances de réussir de manière égale. Sur trois ensembles de données d'arène réels, nous montrons que l'ignorance des mises à jour de classement pour les matchs nuls entraîne une augmentation relative de 1 à 3 % de la précision de prédiction des résultats des combats (y compris les matchs nuls) pour les quatre systèmes de classement étudiés. Des analyses supplémentaires suggèrent que les matchs nuls se produisent plus fréquemment pour les requêtes jugées très faciles et celles considérées comme hautement objectives, avec des ratios de risque de 1,37 et 1,35, respectivement. Nous recommandons que les futurs systèmes de classement reconsidèrent la sémantique actuelle des matchs nuls et prennent en compte les propriétés des requêtes dans les mises à jour de classement.
English
In arena-style evaluation of large language models (LLMs), two LLMs respond to a user query, and the user chooses the winning response or deems the "battle" a draw, resulting in an adjustment to the ratings of both models. The prevailing approach for modeling these rating dynamics is to view battles as two-player game matches, as in chess, and apply the Elo rating system and its derivatives. In this paper, we critically examine this paradigm. Specifically, we question whether a draw genuinely means that the two models are equal and hence whether their ratings should be equalized. Instead, we conjecture that draws are more indicative of query difficulty: if the query is too easy, then both models are more likely to succeed equally. On three real-world arena datasets, we show that ignoring rating updates for draws yields a 1-3% relative increase in battle outcome prediction accuracy (which includes draws) for all four rating systems studied. Further analyses suggest that draws occur more for queries rated as very easy and those as highly objective, with risk ratios of 1.37 and 1.35, respectively. We recommend future rating systems to reconsider existing draw semantics and to account for query properties in rating updates.
PDF32October 3, 2025