Da dati raccolti tramite crowdsourcing a benchmark di alta qualità: Arena-Hard e la pipeline BenchBuilder

From Crowdsourced Data to High-Quality Benchmarks: Arena-Hard and BenchBuilder Pipeline

June 17, 2024

Autori: Tianle Li, Wei-Lin Chiang, Evan Frick, Lisa Dunlap, Tianhao Wu, Banghua Zhu, Joseph E. Gonzalez, Ion Stoica

cs.AI

Abstract

La rapida evoluzione dei modelli linguistici ha reso necessario lo sviluppo di benchmark più impegnativi. Gli attuali benchmark statici spesso faticano a distinguere in modo coerente le capacità dei diversi modelli e non riescono ad allinearsi alle preferenze degli utenti nel mondo reale. D'altro canto, piattaforme live basate sul crowdsourcing come Chatbot Arena raccolgono un'ampia gamma di prompt naturali e feedback degli utenti. Tuttavia, questi prompt variano in termini di sofisticazione e il feedback non può essere applicato offline a nuovi modelli. Per garantire che i benchmark tengano il passo con lo sviluppo dei modelli linguistici (LLM), affrontiamo il problema di come valutare i benchmark in base alla loro capacità di distinguere con sicurezza i modelli e al loro allineamento con le preferenze umane. Sulla base di questi principi, abbiamo sviluppato BenchBuilder, un benchmark dinamico che filtra prompt di alta qualità da fonti di dati live per consentire valutazioni offline su prompt freschi e impegnativi. BenchBuilder identifica sette indicatori di un prompt di alta qualità, come la necessità di conoscenze di dominio, e utilizza un annotatore LLM per selezionare un sottoinsieme di prompt di alta qualità da vari cluster tematici. Il processo di valutazione LLM impiega un giudice LLM per garantire un benchmark completamente automatizzato, di alta qualità e in costante aggiornamento. Abbiamo applicato BenchBuilder ai prompt di Chatbot Arena per creare Arena-Hard-Auto v0.1: 500 prompt utente impegnativi provenienti da un'ampia gamma di attività. Arena-Hard-Auto v0.1 offre intervalli di confidenza 3 volte più stretti rispetto a MT-Bench e raggiunge un accordo all'avanguardia del 89,1% con le classifiche delle preferenze umane, tutto al costo di soli $25 e senza l'uso di etichettatori umani. La pipeline di BenchBuilder migliora i benchmark di valutazione e fornisce uno strumento prezioso per gli sviluppatori, consentendo loro di estrarre benchmark di alta qualità da dati estesi con uno sforzo minimo.

English

The rapid evolution of language models has necessitated the development of more challenging benchmarks. Current static benchmarks often struggle to consistently distinguish between the capabilities of different models and fail to align with real-world user preferences. On the other hand, live crowd-sourced platforms like the Chatbot Arena collect a wide range of natural prompts and user feedback. However, these prompts vary in sophistication and the feedback cannot be applied offline to new models. In order to ensure that benchmarks keep up with the pace of LLM development, we address how one can evaluate benchmarks on their ability to confidently separate models and their alignment with human preference. Under these principles, we developed BenchBuilder, a living benchmark that filters high-quality prompts from live data sources to enable offline evaluation on fresh, challenging prompts. BenchBuilder identifies seven indicators of a high-quality prompt, such as the requirement for domain knowledge, and utilizes an LLM annotator to select a high-quality subset of prompts from various topic clusters. The LLM evaluation process employs an LLM judge to ensure a fully automated, high-quality, and constantly updating benchmark. We apply BenchBuilder on prompts from the Chatbot Arena to create Arena-Hard-Auto v0.1: 500 challenging user prompts from a wide range of tasks. Arena-Hard-Auto v0.1 offers 3x tighter confidence intervals than MT-Bench and achieves a state-of-the-art 89.1% agreement with human preference rankings, all at a cost of only $25 and without human labelers. The BenchBuilder pipeline enhances evaluation benchmarks and provides a valuable tool for developers, enabling them to extract high-quality benchmarks from extensive data with minimal effort.