Извлечение выводов из сравнений: переосмысление семантики предпочтений в аренном оценивании языковых моделей

Drawing Conclusions from Draws: Rethinking Preference Semantics in Arena-Style LLM Evaluation

October 2, 2025

Авторы: Raphael Tang, Crystina Zhang, Wenyan Li, Carmen Lai, Pontus Stenetorp, Yao Lu

cs.AI

Аннотация

При аренном оценивании больших языковых моделей (LLM) две модели отвечают на запрос пользователя, и пользователь выбирает победивший ответ или объявляет "битву" ничьей, что приводит к корректировке рейтингов обеих моделей. Преобладающий подход к моделированию этих рейтинговых динамик заключается в рассмотрении битв как матчей между двумя игроками, как в шахматах, с применением рейтинговой системы Эло и её производных. В данной работе мы критически исследуем эту парадигму. В частности, мы задаёмся вопросом, действительно ли ничья означает, что две модели равны, и, следовательно, должны ли их рейтинги уравниваться. Вместо этого мы предполагаем, что ничьи скорее указывают на сложность запроса: если запрос слишком простой, то обе модели с большей вероятностью справятся одинаково хорошо. На трёх реальных аренных наборах данных мы показываем, что игнорирование обновления рейтингов при ничьях приводит к относительному увеличению точности предсказания исходов битв (включая ничьи) на 1-3% для всех четырёх изученных рейтинговых систем. Дополнительные анализы показывают, что ничьи чаще возникают для запросов, оценённых как очень простые, а также для тех, которые характеризуются высокой объективностью, с коэффициентами риска 1,37 и 1,35 соответственно. Мы рекомендуем будущим рейтинговым системам пересмотреть существующую семантику ничьих и учитывать свойства запросов при обновлении рейтингов.

English

In arena-style evaluation of large language models (LLMs), two LLMs respond to a user query, and the user chooses the winning response or deems the "battle" a draw, resulting in an adjustment to the ratings of both models. The prevailing approach for modeling these rating dynamics is to view battles as two-player game matches, as in chess, and apply the Elo rating system and its derivatives. In this paper, we critically examine this paradigm. Specifically, we question whether a draw genuinely means that the two models are equal and hence whether their ratings should be equalized. Instead, we conjecture that draws are more indicative of query difficulty: if the query is too easy, then both models are more likely to succeed equally. On three real-world arena datasets, we show that ignoring rating updates for draws yields a 1-3% relative increase in battle outcome prediction accuracy (which includes draws) for all four rating systems studied. Further analyses suggest that draws occur more for queries rated as very easy and those as highly objective, with risk ratios of 1.37 and 1.35, respectively. We recommend future rating systems to reconsider existing draw semantics and to account for query properties in rating updates.