Prompt-to-Leaderboard

Prompt-to-Leaderboard

February 20, 2025

Autores: Evan Frick, Connor Chen, Joseph Tennyson, Tianle Li, Wei-Lin Chiang, Anastasios N. Angelopoulos, Ion Stoica

cs.AI

Resumo

Avaliações de modelos de linguagem de grande escala (LLMs) geralmente dependem de métricas agregadas, como precisão ou preferência humana, calculando médias entre usuários e prompts. Essa média obscurece variações específicas de usuários e prompts no desempenho do modelo. Para abordar isso, propomos o Prompt-to-Leaderboard (P2L), um método que produz rankings específicos para um prompt. A ideia central é treinar um LLM que recebe prompts em linguagem natural como entrada e gera um vetor de coeficientes de Bradley-Terry, que são então usados para prever a votação de preferência humana. Os rankings dependentes de prompt resultantes permitem avaliação específica de tarefas sem supervisão, roteamento ideal de consultas para modelos, personalização e avaliação automatizada de pontos fortes e fracos dos modelos. Dados do Chatbot Arena sugerem que o P2L captura melhor o cenário detalhado do desempenho de modelos de linguagem do que o ranking médio. Além disso, nossos achados indicam que a capacidade do P2L de produzir avaliações específicas para prompts segue uma escala de lei de potência semelhante à observada nos próprios LLMs. Em janeiro de 2025, o roteador que treinamos com base nessa metodologia alcançou o primeiro lugar no ranking do Chatbot Arena. Nosso código está disponível neste link do GitHub: https://github.com/lmarena/p2l.

English

Large language model (LLM) evaluations typically rely on aggregated metrics like accuracy or human preference, averaging across users and prompts. This averaging obscures user- and prompt-specific variations in model performance. To address this, we propose Prompt-to-Leaderboard (P2L), a method that produces leaderboards specific to a prompt. The core idea is to train an LLM taking natural language prompts as input to output a vector of Bradley-Terry coefficients which are then used to predict the human preference vote. The resulting prompt-dependent leaderboards allow for unsupervised task-specific evaluation, optimal routing of queries to models, personalization, and automated evaluation of model strengths and weaknesses. Data from Chatbot Arena suggest that P2L better captures the nuanced landscape of language model performance than the averaged leaderboard. Furthermore, our findings suggest that P2L's ability to produce prompt-specific evaluations follows a power law scaling similar to that observed in LLMs themselves. In January 2025, the router we trained based on this methodology achieved the \#1 spot in the Chatbot Arena leaderboard. Our code is available at this GitHub link: https://github.com/lmarena/p2l.