Trarre Conclusioni dalle Estrazioni: Ripensare la Semantica delle Preferenze nella Valutazione degli LLM in Stile Arena

Drawing Conclusions from Draws: Rethinking Preference Semantics in Arena-Style LLM Evaluation

October 2, 2025

Autori: Raphael Tang, Crystina Zhang, Wenyan Li, Carmen Lai, Pontus Stenetorp, Yao Lu

cs.AI

Abstract

Nella valutazione in stile arena dei modelli linguistici di grandi dimensioni (LLM), due LLM rispondono a una query dell'utente, e l'utente sceglie la risposta vincente o dichiara il "confronto" un pareggio, determinando un aggiustamento dei punteggi di entrambi i modelli. L'approccio prevalente per modellare queste dinamiche di valutazione consiste nel considerare i confronti come partite tra due giocatori, come negli scacchi, e applicare il sistema di punteggio Elo e le sue varianti. In questo articolo, esaminiamo criticamente questo paradigma. In particolare, ci chiediamo se un pareggio significhi davvero che i due modelli siano uguali e, quindi, se i loro punteggi debbano essere equiparati. Al contrario, ipotizziamo che i pareggi siano più indicativi della difficoltà della query: se la query è troppo semplice, è più probabile che entrambi i modelli abbiano successo in egual misura. Su tre dataset di arena del mondo reale, dimostriamo che ignorare gli aggiornamenti dei punteggi per i pareggi produce un aumento relativo dell'1-3% nell'accuratezza della previsione degli esiti dei confronti (che includono i pareggi) per tutti e quattro i sistemi di valutazione studiati. Ulteriori analisi suggeriscono che i pareggi si verificano più frequentemente per query valutate come molto facili e quelle altamente oggettive, con rapporti di rischio rispettivamente di 1,37 e 1,35. Raccomandiamo che i futuri sistemi di valutazione riconsiderino la semantica esistente dei pareggi e tengano conto delle proprietà delle query negli aggiornamenti dei punteggi.

English

In arena-style evaluation of large language models (LLMs), two LLMs respond to a user query, and the user chooses the winning response or deems the "battle" a draw, resulting in an adjustment to the ratings of both models. The prevailing approach for modeling these rating dynamics is to view battles as two-player game matches, as in chess, and apply the Elo rating system and its derivatives. In this paper, we critically examine this paradigm. Specifically, we question whether a draw genuinely means that the two models are equal and hence whether their ratings should be equalized. Instead, we conjecture that draws are more indicative of query difficulty: if the query is too easy, then both models are more likely to succeed equally. On three real-world arena datasets, we show that ignoring rating updates for draws yields a 1-3% relative increase in battle outcome prediction accuracy (which includes draws) for all four rating systems studied. Further analyses suggest that draws occur more for queries rated as very easy and those as highly objective, with risk ratios of 1.37 and 1.35, respectively. We recommend future rating systems to reconsider existing draw semantics and to account for query properties in rating updates.