引き分けから結論を導く：アリーナ形式LLM評価における選好意味論の再考

要旨

大規模言語モデル（LLM）のアリーナ形式評価において、2つのLLMがユーザーのクエリに応答し、ユーザーが勝者を選択するか、あるいは「バトル」を引き分けと判定し、それによって両モデルのレーティングが調整される。これらのレーティング動態をモデル化するための主流のアプローチは、チェスのような2プレイヤーゲームのマッチとしてバトルを捉え、Eloレーティングシステムおよびその派生システムを適用することである。本論文では、このパラダイムを批判的に検証する。具体的には、引き分けが真に2つのモデルが同等であることを意味するのか、したがってそれらのレーティングを均等化すべきなのかを問う。代わりに、引き分けはクエリの難易度を示すものであると推測する：クエリが簡単すぎる場合、両モデルが同様に成功する可能性が高い。3つの実世界のアリーナデータセットにおいて、引き分けに対するレーティング更新を無視することで、調査した4つのレーティングシステムすべてにおいて、バトル結果予測精度（引き分けを含む）が1～3％相対的に向上することを示す。さらに分析すると、引き分けは非常に簡単と評価されたクエリおよび高度に客観的と評価されたクエリでより頻繁に発生し、リスク比はそれぞれ1.37および1.35であった。今後のレーティングシステムでは、既存の引き分けの意味を再考し、レーティング更新においてクエリの特性を考慮することを推奨する。

English

In arena-style evaluation of large language models (LLMs), two LLMs respond to a user query, and the user chooses the winning response or deems the "battle" a draw, resulting in an adjustment to the ratings of both models. The prevailing approach for modeling these rating dynamics is to view battles as two-player game matches, as in chess, and apply the Elo rating system and its derivatives. In this paper, we critically examine this paradigm. Specifically, we question whether a draw genuinely means that the two models are equal and hence whether their ratings should be equalized. Instead, we conjecture that draws are more indicative of query difficulty: if the query is too easy, then both models are more likely to succeed equally. On three real-world arena datasets, we show that ignoring rating updates for draws yields a 1-3% relative increase in battle outcome prediction accuracy (which includes draws) for all four rating systems studied. Further analyses suggest that draws occur more for queries rated as very easy and those as highly objective, with risk ratios of 1.37 and 1.35, respectively. We recommend future rating systems to reconsider existing draw semantics and to account for query properties in rating updates.

引き分けから結論を導く：アリーナ形式LLM評価における選好意味論の再考

Drawing Conclusions from Draws: Rethinking Preference Semantics in Arena-Style LLM Evaluation

要旨

Support