Conclusões a partir de Comparações: Repensando a Semântica de Preferência na Avaliação de LLMs no Estilo Arena

Drawing Conclusions from Draws: Rethinking Preference Semantics in Arena-Style LLM Evaluation

October 2, 2025

Autores: Raphael Tang, Crystina Zhang, Wenyan Li, Carmen Lai, Pontus Stenetorp, Yao Lu

cs.AI

Resumo

Na avaliação em estilo arena de modelos de linguagem de grande escala (LLMs), dois LLMs respondem a uma consulta do usuário, e o usuário escolhe a resposta vencedora ou considera o "combate" um empate, resultando em um ajuste nas classificações de ambos os modelos. A abordagem predominante para modelar essas dinâmicas de classificação é tratar os combates como partidas de jogos de dois jogadores, como no xadrez, e aplicar o sistema de classificação Elo e seus derivados. Neste artigo, examinamos criticamente esse paradigma. Especificamente, questionamos se um empate realmente significa que os dois modelos são iguais e, portanto, se suas classificações devem ser igualadas. Em vez disso, conjecturamos que os empates são mais indicativos da dificuldade da consulta: se a consulta for muito fácil, é mais provável que ambos os modelos tenham sucesso igualmente. Em três conjuntos de dados de arena do mundo real, mostramos que ignorar as atualizações de classificação para empates resulta em um aumento relativo de 1-3% na precisão da previsão dos resultados dos combates (que inclui empates) para todos os quatro sistemas de classificação estudados. Análises adicionais sugerem que os empates ocorrem mais para consultas classificadas como muito fáceis e aquelas altamente objetivas, com razões de risco de 1,37 e 1,35, respectivamente. Recomendamos que os futuros sistemas de classificação reconsiderem a semântica existente dos empates e levem em consideração as propriedades das consultas nas atualizações de classificação.

English

In arena-style evaluation of large language models (LLMs), two LLMs respond to a user query, and the user chooses the winning response or deems the "battle" a draw, resulting in an adjustment to the ratings of both models. The prevailing approach for modeling these rating dynamics is to view battles as two-player game matches, as in chess, and apply the Elo rating system and its derivatives. In this paper, we critically examine this paradigm. Specifically, we question whether a draw genuinely means that the two models are equal and hence whether their ratings should be equalized. Instead, we conjecture that draws are more indicative of query difficulty: if the query is too easy, then both models are more likely to succeed equally. On three real-world arena datasets, we show that ignoring rating updates for draws yields a 1-3% relative increase in battle outcome prediction accuracy (which includes draws) for all four rating systems studied. Further analyses suggest that draws occur more for queries rated as very easy and those as highly objective, with risk ratios of 1.37 and 1.35, respectively. We recommend future rating systems to reconsider existing draw semantics and to account for query properties in rating updates.