プロンプト・トゥ・リーダーボード

Prompt-to-Leaderboard

February 20, 2025

著者: Evan Frick, Connor Chen, Joseph Tennyson, Tianle Li, Wei-Lin Chiang, Anastasios N. Angelopoulos, Ion Stoica

cs.AI

要旨

大規模言語モデル（LLM）の評価は通常、精度や人間の選好といった集約された指標に依存し、ユーザーやプロンプト全体の平均値を取ります。この平均化により、モデルのパフォーマンスにおけるユーザーやプロンプト固有の変動が隠されてしまいます。この問題に対処するため、我々はプロンプト固有のリーダーボードを生成するPrompt-to-Leaderboard（P2L）という手法を提案します。この手法の核となるアイデアは、自然言語プロンプトを入力として受け取り、Bradley-Terry係数のベクトルを出力するLLMを訓練し、それを人間の選好投票を予測するために使用することです。これにより得られるプロンプト依存のリーダーボードは、教師なしのタスク固有評価、クエリの最適なモデルへのルーティング、パーソナライゼーション、およびモデルの強みと弱みの自動評価を可能にします。Chatbot Arenaからのデータは、P2Lが平均化されたリーダーボードよりも言語モデルのパフォーマンスの微妙な違いをよりよく捉えていることを示唆しています。さらに、我々の研究結果は、P2Lがプロンプト固有の評価を生成する能力が、LLM自体で観察されるものと同様のべき乗則スケーリングに従っていることを示唆しています。2025年1月、この方法論に基づいて訓練されたルーターは、Chatbot Arenaのリーダーボードで第1位を獲得しました。我々のコードは以下のGitHubリンクで公開されています：https://github.com/lmarena/p2l。

English

Large language model (LLM) evaluations typically rely on aggregated metrics like accuracy or human preference, averaging across users and prompts. This averaging obscures user- and prompt-specific variations in model performance. To address this, we propose Prompt-to-Leaderboard (P2L), a method that produces leaderboards specific to a prompt. The core idea is to train an LLM taking natural language prompts as input to output a vector of Bradley-Terry coefficients which are then used to predict the human preference vote. The resulting prompt-dependent leaderboards allow for unsupervised task-specific evaluation, optimal routing of queries to models, personalization, and automated evaluation of model strengths and weaknesses. Data from Chatbot Arena suggest that P2L better captures the nuanced landscape of language model performance than the averaged leaderboard. Furthermore, our findings suggest that P2L's ability to produce prompt-specific evaluations follows a power law scaling similar to that observed in LLMs themselves. In January 2025, the router we trained based on this methodology achieved the \#1 spot in the Chatbot Arena leaderboard. Our code is available at this GitHub link: https://github.com/lmarena/p2l.