Prompt-to-Clasificación

Prompt-to-Leaderboard

February 20, 2025

Autores: Evan Frick, Connor Chen, Joseph Tennyson, Tianle Li, Wei-Lin Chiang, Anastasios N. Angelopoulos, Ion Stoica

cs.AI

Resumen

Las evaluaciones de modelos de lenguaje de gran escala (LLM, por sus siglas en inglés) suelen basarse en métricas agregadas como la precisión o la preferencia humana, promediando entre usuarios y prompts. Este promedio oculta las variaciones específicas en el rendimiento del modelo según el usuario y el prompt. Para abordar esto, proponemos Prompt-to-Leaderboard (P2L), un método que genera clasificaciones específicas para un prompt. La idea central es entrenar un LLM que tome prompts en lenguaje natural como entrada y produzca un vector de coeficientes de Bradley-Terry, los cuales se utilizan para predecir el voto de preferencia humana. Las clasificaciones dependientes del prompt resultantes permiten una evaluación específica de tareas sin supervisión, el enrutamiento óptimo de consultas a modelos, la personalización y la evaluación automatizada de las fortalezas y debilidades del modelo. Los datos de Chatbot Arena sugieren que P2L captura mejor el panorama matizado del rendimiento de los modelos de lenguaje que las clasificaciones promediadas. Además, nuestros hallazgos indican que la capacidad de P2L para producir evaluaciones específicas de prompt sigue una escala de ley de potencia similar a la observada en los propios LLM. En enero de 2025, el enrutador que entrenamos basado en esta metodología alcanzó el puesto número 1 en la clasificación de Chatbot Arena. Nuestro código está disponible en este enlace de GitHub: https://github.com/lmarena/p2l.

English

Large language model (LLM) evaluations typically rely on aggregated metrics like accuracy or human preference, averaging across users and prompts. This averaging obscures user- and prompt-specific variations in model performance. To address this, we propose Prompt-to-Leaderboard (P2L), a method that produces leaderboards specific to a prompt. The core idea is to train an LLM taking natural language prompts as input to output a vector of Bradley-Terry coefficients which are then used to predict the human preference vote. The resulting prompt-dependent leaderboards allow for unsupervised task-specific evaluation, optimal routing of queries to models, personalization, and automated evaluation of model strengths and weaknesses. Data from Chatbot Arena suggest that P2L better captures the nuanced landscape of language model performance than the averaged leaderboard. Furthermore, our findings suggest that P2L's ability to produce prompt-specific evaluations follows a power law scaling similar to that observed in LLMs themselves. In January 2025, the router we trained based on this methodology achieved the \#1 spot in the Chatbot Arena leaderboard. Our code is available at this GitHub link: https://github.com/lmarena/p2l.