Prompt-zu-Leaderboard

Zusammenfassung

Die Bewertung von großen Sprachmodellen (LLMs) stützt sich typischerweise auf aggregierte Metriken wie Genauigkeit oder menschliche Präferenzen, die über Benutzer und Prompts gemittelt werden. Diese Mittelung verschleiert jedoch benutzer- und promptspezifische Variationen in der Modellleistung. Um dies zu adressieren, schlagen wir Prompt-to-Leaderboard (P2L) vor, eine Methode, die spezifische Leaderboards für einen Prompt erzeugt. Die Kernidee besteht darin, ein LLM zu trainieren, das natürliche Sprachprompts als Eingabe verwendet, um einen Vektor von Bradley-Terry-Koeffizienten auszugeben, die dann zur Vorhersage der menschlichen Präferenzabstimmung verwendet werden. Die daraus resultierenden promptspezifischen Leaderboards ermöglichen eine unüberwachte, aufgabenbezogene Bewertung, das optimale Routing von Anfragen an Modelle, Personalisierung sowie die automatisierte Bewertung von Stärken und Schwächen der Modelle. Daten aus der Chatbot Arena deuten darauf hin, dass P2L die nuancierte Landschaft der Sprachmodellleistung besser erfasst als der gemittelte Leaderboard. Darüber hinaus legen unsere Ergebnisse nahe, dass die Fähigkeit von P2L, promptspezifische Bewertungen zu erzeugen, einer Potenzgesetz-Skalierung folgt, die der in LLMs selbst beobachteten ähnelt. Im Januar 2025 erreichte der auf dieser Methodik basierende Router, den wir trainiert haben, den ersten Platz im Chatbot Arena Leaderboard. Unser Code ist unter diesem GitHub-Link verfügbar: https://github.com/lmarena/p2l.

English

Large language model (LLM) evaluations typically rely on aggregated metrics like accuracy or human preference, averaging across users and prompts. This averaging obscures user- and prompt-specific variations in model performance. To address this, we propose Prompt-to-Leaderboard (P2L), a method that produces leaderboards specific to a prompt. The core idea is to train an LLM taking natural language prompts as input to output a vector of Bradley-Terry coefficients which are then used to predict the human preference vote. The resulting prompt-dependent leaderboards allow for unsupervised task-specific evaluation, optimal routing of queries to models, personalization, and automated evaluation of model strengths and weaknesses. Data from Chatbot Arena suggest that P2L better captures the nuanced landscape of language model performance than the averaged leaderboard. Furthermore, our findings suggest that P2L's ability to produce prompt-specific evaluations follows a power law scaling similar to that observed in LLMs themselves. In January 2025, the router we trained based on this methodology achieved the \#1 spot in the Chatbot Arena leaderboard. Our code is available at this GitHub link: https://github.com/lmarena/p2l.