Schlussfolgerungen aus Ziehungen ziehen: Neubewertung der Präferenzsemantik in der Arena-basierten LLM-Evaluierung

Drawing Conclusions from Draws: Rethinking Preference Semantics in Arena-Style LLM Evaluation

October 2, 2025

papers.authors: Raphael Tang, Crystina Zhang, Wenyan Li, Carmen Lai, Pontus Stenetorp, Yao Lu

cs.AI

papers.abstract

Bei der Arena-basierten Bewertung von großen Sprachmodellen (LLMs) antworten zwei LLMs auf eine Benutzeranfrage, und der Benutzer wählt die gewinnende Antwort aus oder erklärt den „Kampf“ für unentschieden, was zu einer Anpassung der Bewertungen beider Modelle führt. Der vorherrschende Ansatz zur Modellierung dieser Bewertungsdynamik besteht darin, Kämpfe als Zwei-Spieler-Spiele, wie im Schach, zu betrachten und das Elo-Bewertungssystem sowie dessen Ableitungen anzuwenden. In diesem Papier untersuchen wir dieses Paradigma kritisch. Insbesondere stellen wir die Frage, ob ein Unentschieden tatsächlich bedeutet, dass die beiden Modelle gleichwertig sind und somit ihre Bewertungen angeglichen werden sollten. Stattdessen vermuten wir, dass Unentschieden eher auf die Schwierigkeit der Anfrage hinweisen: Wenn die Anfrage zu einfach ist, ist es wahrscheinlicher, dass beide Modelle gleichermaßen erfolgreich sind. Anhand von drei realen Arena-Datensätzen zeigen wir, dass das Ignorieren von Bewertungsaktualisierungen bei Unentschieden zu einer relativen Steigerung der Vorhersagegenauigkeit von Kampfergebnissen (einschließlich Unentschieden) um 1-3 % bei allen vier untersuchten Bewertungssystemen führt. Weitere Analysen deuten darauf hin, dass Unentschieden häufiger bei Anfragen auftreten, die als sehr einfach und als stark objektiv bewertet werden, mit Risikoverhältnissen von 1,37 bzw. 1,35. Wir empfehlen zukünftigen Bewertungssystemen, die bestehende Semantik von Unentschieden zu überdenken und die Eigenschaften der Anfragen bei Bewertungsaktualisierungen zu berücksichtigen.

English

In arena-style evaluation of large language models (LLMs), two LLMs respond to a user query, and the user chooses the winning response or deems the "battle" a draw, resulting in an adjustment to the ratings of both models. The prevailing approach for modeling these rating dynamics is to view battles as two-player game matches, as in chess, and apply the Elo rating system and its derivatives. In this paper, we critically examine this paradigm. Specifically, we question whether a draw genuinely means that the two models are equal and hence whether their ratings should be equalized. Instead, we conjecture that draws are more indicative of query difficulty: if the query is too easy, then both models are more likely to succeed equally. On three real-world arena datasets, we show that ignoring rating updates for draws yields a 1-3% relative increase in battle outcome prediction accuracy (which includes draws) for all four rating systems studied. Further analyses suggest that draws occur more for queries rated as very easy and those as highly objective, with risk ratios of 1.37 and 1.35, respectively. We recommend future rating systems to reconsider existing draw semantics and to account for query properties in rating updates.