Prompt-to-Leaderboard

Prompt-to-Leaderboard

February 20, 2025

Auteurs: Evan Frick, Connor Chen, Joseph Tennyson, Tianle Li, Wei-Lin Chiang, Anastasios N. Angelopoulos, Ion Stoica

cs.AI

Samenvatting

Evaluaties van grote taalmodellen (LLM's) vertrouwen doorgaans op geaggregeerde metrieken zoals nauwkeurigheid of menselijke voorkeur, waarbij gemiddelden worden genomen over gebruikers en prompts. Dit gemiddelde verhult echter gebruikers- en promptspecifieke variaties in modelprestaties. Om dit aan te pakken, stellen we Prompt-to-Leaderboard (P2L) voor, een methode die leaderboards genereert die specifiek zijn voor een prompt. De kernidee is om een LLM te trainen dat natuurlijke taalprompts als invoer neemt en een vector van Bradley-Terry-coëfficiënten uitvoert, die vervolgens worden gebruikt om de menselijke voorkeursstem te voorspellen. De resulterende promptspecifieke leaderboards maken het mogelijk om onbewaakte taakspecifieke evaluaties uit te voeren, optimale routering van queries naar modellen, personalisatie en geautomatiseerde evaluatie van modelsterktes en -zwaktes. Data van Chatbot Arena suggereren dat P2L het genuanceerde landschap van taalmodelprestaties beter vastlegt dan de gemiddelde leaderboard. Bovendien suggereren onze bevindingen dat P2L's vermogen om promptspecifieke evaluaties te produceren een machtswet-schaal volgt, vergelijkbaar met wat wordt waargenomen bij LLM's zelf. In januari 2025 behaalde de router die we op basis van deze methodologie hebben getraind de eerste plaats in de Chatbot Arena leaderboard. Onze code is beschikbaar via deze GitHub-link: https://github.com/lmarena/p2l.

English

Large language model (LLM) evaluations typically rely on aggregated metrics like accuracy or human preference, averaging across users and prompts. This averaging obscures user- and prompt-specific variations in model performance. To address this, we propose Prompt-to-Leaderboard (P2L), a method that produces leaderboards specific to a prompt. The core idea is to train an LLM taking natural language prompts as input to output a vector of Bradley-Terry coefficients which are then used to predict the human preference vote. The resulting prompt-dependent leaderboards allow for unsupervised task-specific evaluation, optimal routing of queries to models, personalization, and automated evaluation of model strengths and weaknesses. Data from Chatbot Arena suggest that P2L better captures the nuanced landscape of language model performance than the averaged leaderboard. Furthermore, our findings suggest that P2L's ability to produce prompt-specific evaluations follows a power law scaling similar to that observed in LLMs themselves. In January 2025, the router we trained based on this methodology achieved the \#1 spot in the Chatbot Arena leaderboard. Our code is available at this GitHub link: https://github.com/lmarena/p2l.