De Dados Coletados a Benchmarks de Alta Qualidade: Arena-Hard e o Pipeline BenchBuilder

From Crowdsourced Data to High-Quality Benchmarks: Arena-Hard and BenchBuilder Pipeline

June 17, 2024

Autores: Tianle Li, Wei-Lin Chiang, Evan Frick, Lisa Dunlap, Tianhao Wu, Banghua Zhu, Joseph E. Gonzalez, Ion Stoica

cs.AI

Resumo

A rápida evolução dos modelos de linguagem tem exigido o desenvolvimento de benchmarks mais desafiadores. Os benchmarks estáticos atuais frequentemente têm dificuldade em distinguir de forma consistente as capacidades de diferentes modelos e falham em se alinhar com as preferências dos usuários no mundo real. Por outro lado, plataformas colaborativas ao vivo, como o Chatbot Arena, coletam uma ampla gama de prompts naturais e feedback dos usuários. No entanto, esses prompts variam em sofisticação e o feedback não pode ser aplicado offline a novos modelos. Para garantir que os benchmarks acompanhem o ritmo do desenvolvimento dos LLMs, abordamos como é possível avaliar benchmarks com base em sua capacidade de separar modelos com confiança e seu alinhamento com as preferências humanas. Sob esses princípios, desenvolvemos o BenchBuilder, um benchmark dinâmico que filtra prompts de alta qualidade a partir de fontes de dados ao vivo para permitir avaliação offline com prompts novos e desafiadores. O BenchBuilder identifica sete indicadores de um prompt de alta qualidade, como a necessidade de conhecimento de domínio, e utiliza um anotador LLM para selecionar um subconjunto de prompts de alta qualidade de vários clusters de tópicos. O processo de avaliação do LLM emprega um juiz LLM para garantir um benchmark totalmente automatizado, de alta qualidade e em constante atualização. Aplicamos o BenchBuilder em prompts do Chatbot Arena para criar o Arena-Hard-Auto v0.1: 500 prompts desafiadores de usuários em uma ampla variedade de tarefas. O Arena-Hard-Auto v0.1 oferece intervalos de confiança 3x mais estreitos que o MT-Bench e alcança um estado da arte de 89,1% de concordância com as classificações de preferência humana, tudo a um custo de apenas US$ 25 e sem a necessidade de anotadores humanos. O pipeline do BenchBuilder aprimora os benchmarks de avaliação e fornece uma ferramenta valiosa para desenvolvedores, permitindo que extraiam benchmarks de alta qualidade a partir de grandes volumes de dados com esforço mínimo.

English

The rapid evolution of language models has necessitated the development of more challenging benchmarks. Current static benchmarks often struggle to consistently distinguish between the capabilities of different models and fail to align with real-world user preferences. On the other hand, live crowd-sourced platforms like the Chatbot Arena collect a wide range of natural prompts and user feedback. However, these prompts vary in sophistication and the feedback cannot be applied offline to new models. In order to ensure that benchmarks keep up with the pace of LLM development, we address how one can evaluate benchmarks on their ability to confidently separate models and their alignment with human preference. Under these principles, we developed BenchBuilder, a living benchmark that filters high-quality prompts from live data sources to enable offline evaluation on fresh, challenging prompts. BenchBuilder identifies seven indicators of a high-quality prompt, such as the requirement for domain knowledge, and utilizes an LLM annotator to select a high-quality subset of prompts from various topic clusters. The LLM evaluation process employs an LLM judge to ensure a fully automated, high-quality, and constantly updating benchmark. We apply BenchBuilder on prompts from the Chatbot Arena to create Arena-Hard-Auto v0.1: 500 challenging user prompts from a wide range of tasks. Arena-Hard-Auto v0.1 offers 3x tighter confidence intervals than MT-Bench and achieves a state-of-the-art 89.1% agreement with human preference rankings, all at a cost of only $25 and without human labelers. The BenchBuilder pipeline enhances evaluation benchmarks and provides a valuable tool for developers, enabling them to extract high-quality benchmarks from extensive data with minimal effort.