Van door de menigte verzamelde data naar hoogwaardige benchmarks: Arena-Hard en de BenchBuilder-pijplijn

From Crowdsourced Data to High-Quality Benchmarks: Arena-Hard and BenchBuilder Pipeline

June 17, 2024

Auteurs: Tianle Li, Wei-Lin Chiang, Evan Frick, Lisa Dunlap, Tianhao Wu, Banghua Zhu, Joseph E. Gonzalez, Ion Stoica

cs.AI

Samenvatting

De snelle evolutie van taalmodellen heeft de ontwikkeling van uitdagendere benchmarks noodzakelijk gemaakt. Huidige statische benchmarks hebben vaak moeite om consistent onderscheid te maken tussen de capaciteiten van verschillende modellen en sluiten niet altijd aan bij de voorkeuren van gebruikers in de praktijk. Aan de andere kant verzamelen live, door crowdsourcing aangedreven platforms zoals de Chatbot Arena een breed scala aan natuurlijke prompts en gebruikersfeedback. Deze prompts variëren echter in complexiteit en de feedback kan niet offline worden toegepast op nieuwe modellen. Om ervoor te zorgen dat benchmarks het tempo van de ontwikkeling van taalmodellen bijhouden, onderzoeken we hoe benchmarks kunnen worden geëvalueerd op hun vermogen om modellen betrouwbaar te onderscheiden en hun afstemming op menselijke voorkeuren. Op basis van deze principes hebben we BenchBuilder ontwikkeld, een dynamische benchmark die hoogwaardige prompts uit live databronnen filtert om offline evaluatie op nieuwe, uitdagende prompts mogelijk te maken. BenchBuilder identificeert zeven indicatoren van een hoogwaardige prompt, zoals de vereiste van domeinkennis, en gebruikt een LLM-annotator om een hoogwaardige subset van prompts uit verschillende onderwerpclusters te selecteren. Het LLM-evaluatieproces maakt gebruik van een LLM-rechter om een volledig geautomatiseerde, hoogwaardige en voortdurend bijgewerkte benchmark te garanderen. We passen BenchBuilder toe op prompts uit de Chatbot Arena om Arena-Hard-Auto v0.1 te creëren: 500 uitdagende gebruikersprompts uit een breed scala aan taken. Arena-Hard-Auto v0.1 biedt 3x smallere betrouwbaarheidsintervallen dan MT-Bench en bereikt een state-of-the-art overeenstemming van 89,1% met menselijke voorkeursrangschikkingen, allemaal tegen een kostprijs van slechts $25 en zonder menselijke labelers. De BenchBuilder-pijplijn verbetert evaluatiebenchmarks en biedt ontwikkelaars een waardevol hulpmiddel, waardoor ze met minimale inspanning hoogwaardige benchmarks uit uitgebreide gegevens kunnen extraheren.

English

The rapid evolution of language models has necessitated the development of more challenging benchmarks. Current static benchmarks often struggle to consistently distinguish between the capabilities of different models and fail to align with real-world user preferences. On the other hand, live crowd-sourced platforms like the Chatbot Arena collect a wide range of natural prompts and user feedback. However, these prompts vary in sophistication and the feedback cannot be applied offline to new models. In order to ensure that benchmarks keep up with the pace of LLM development, we address how one can evaluate benchmarks on their ability to confidently separate models and their alignment with human preference. Under these principles, we developed BenchBuilder, a living benchmark that filters high-quality prompts from live data sources to enable offline evaluation on fresh, challenging prompts. BenchBuilder identifies seven indicators of a high-quality prompt, such as the requirement for domain knowledge, and utilizes an LLM annotator to select a high-quality subset of prompts from various topic clusters. The LLM evaluation process employs an LLM judge to ensure a fully automated, high-quality, and constantly updating benchmark. We apply BenchBuilder on prompts from the Chatbot Arena to create Arena-Hard-Auto v0.1: 500 challenging user prompts from a wide range of tasks. Arena-Hard-Auto v0.1 offers 3x tighter confidence intervals than MT-Bench and achieves a state-of-the-art 89.1% agreement with human preference rankings, all at a cost of only $25 and without human labelers. The BenchBuilder pipeline enhances evaluation benchmarks and provides a valuable tool for developers, enabling them to extract high-quality benchmarks from extensive data with minimal effort.