Von Crowdsourcing-Daten zu hochwertigen Benchmarks: Arena-Hard und BenchBuilder-Pipeline

From Crowdsourced Data to High-Quality Benchmarks: Arena-Hard and BenchBuilder Pipeline

June 17, 2024

Autoren: Tianle Li, Wei-Lin Chiang, Evan Frick, Lisa Dunlap, Tianhao Wu, Banghua Zhu, Joseph E. Gonzalez, Ion Stoica

cs.AI

Zusammenfassung

Die rasante Entwicklung von Sprachmodellen hat die Notwendigkeit der Entwicklung anspruchsvollerer Benchmarks mit sich gebracht. Aktuelle statische Benchmarks haben oft Schwierigkeiten, die Fähigkeiten verschiedener Modelle konsistent zu unterscheiden und entsprechen nicht den Vorlieben realer Benutzer. Andererseits sammeln lebendige, von der Crowd erstellte Plattformen wie die Chatbot Arena eine Vielzahl natürlicher Anfragen und Benutzerfeedbacks. Diese Anfragen variieren jedoch in ihrer Komplexität, und das Feedback kann offline nicht auf neue Modelle angewendet werden. Um sicherzustellen, dass Benchmarks mit der Entwicklung von LLMs Schritt halten, untersuchen wir, wie Benchmarks hinsichtlich ihrer Fähigkeit, Modelle sicher voneinander zu trennen, und ihrer Übereinstimmung mit menschlichen Vorlieben bewertet werden können. Unter diesen Grundsätzen haben wir BenchBuilder entwickelt, einen lebendigen Benchmark, der hochwertige Anfragen aus Live-Datenquellen filtert, um eine Offline-Bewertung anhand frischer, anspruchsvoller Anfragen zu ermöglichen. BenchBuilder identifiziert sieben Indikatoren einer hochwertigen Anfrage, wie z.B. den Bedarf an Fachwissen, und nutzt einen LLM-Annotator, um eine hochwertige Teilmenge von Anfragen aus verschiedenen Themenclustern auszuwählen. Der LLM-Bewertungsprozess verwendet einen LLM-Richter, um einen vollständig automatisierten, hochwertigen und ständig aktualisierten Benchmark sicherzustellen. Wir wenden BenchBuilder auf Anfragen aus der Chatbot Arena an, um Arena-Hard-Auto v0.1 zu erstellen: 500 anspruchsvolle Benutzeranfragen aus einer Vielzahl von Aufgaben. Arena-Hard-Auto v0.1 bietet 3-mal engere Vertrauensintervalle als MT-Bench und erreicht eine Spitzenübereinstimmung von 89,1% mit menschlichen Präferenzranglisten, alles zu Kosten von nur 25 $ und ohne menschliche Labeler. Die BenchBuilder-Pipeline verbessert Evaluierungsbenchmarks und bietet Entwicklern ein wertvolles Werkzeug, um hochwertige Benchmarks aus umfangreichen Daten mit minimalem Aufwand zu extrahieren.

English

The rapid evolution of language models has necessitated the development of more challenging benchmarks. Current static benchmarks often struggle to consistently distinguish between the capabilities of different models and fail to align with real-world user preferences. On the other hand, live crowd-sourced platforms like the Chatbot Arena collect a wide range of natural prompts and user feedback. However, these prompts vary in sophistication and the feedback cannot be applied offline to new models. In order to ensure that benchmarks keep up with the pace of LLM development, we address how one can evaluate benchmarks on their ability to confidently separate models and their alignment with human preference. Under these principles, we developed BenchBuilder, a living benchmark that filters high-quality prompts from live data sources to enable offline evaluation on fresh, challenging prompts. BenchBuilder identifies seven indicators of a high-quality prompt, such as the requirement for domain knowledge, and utilizes an LLM annotator to select a high-quality subset of prompts from various topic clusters. The LLM evaluation process employs an LLM judge to ensure a fully automated, high-quality, and constantly updating benchmark. We apply BenchBuilder on prompts from the Chatbot Arena to create Arena-Hard-Auto v0.1: 500 challenging user prompts from a wide range of tasks. Arena-Hard-Auto v0.1 offers 3x tighter confidence intervals than MT-Bench and achieves a state-of-the-art 89.1% agreement with human preference rankings, all at a cost of only $25 and without human labelers. The BenchBuilder pipeline enhances evaluation benchmarks and provides a valuable tool for developers, enabling them to extract high-quality benchmarks from extensive data with minimal effort.