От данных, собранных при помощи толпы, к высококачественным бенчмаркам: пайплайн Arena-Hard и BenchBuilder.

From Crowdsourced Data to High-Quality Benchmarks: Arena-Hard and BenchBuilder Pipeline

June 17, 2024

Авторы: Tianle Li, Wei-Lin Chiang, Evan Frick, Lisa Dunlap, Tianhao Wu, Banghua Zhu, Joseph E. Gonzalez, Ion Stoica

cs.AI

Аннотация

Быстрое развитие языковых моделей потребовало создания более сложных бенчмарков. Существующие статические бенчмарки часто испытывают трудности в последовательном различении возможностей различных моделей и не соответствуют предпочтениям пользователей в реальном мире. С другой стороны, платформы с живыми данными, такие как Chatbot Arena, собирают широкий спектр естественных подсказок и отзывов пользователей. Однако эти подсказки различаются по сложности, и обратная связь не может быть применена офлайн к новым моделям. Для того чтобы обеспечить соответствие бенчмарков темпу развития LLM, мы рассматриваем, как можно оценить бенчмарки по их способности уверенно разделять модели и соответствовать предпочтениям людей. В соответствии с этими принципами мы разработали BenchBuilder, живой бенчмарк, который фильтрует высококачественные подсказки из источников живых данных для возможности офлайн оценки на новых сложных подсказках. BenchBuilder выделяет семь показателей высококачественной подсказки, таких как требование к областным знаниям, и использует аннотатор LLM для выбора высококачественного подмножества подсказок из различных кластеров тем. Процесс оценки LLM включает судью LLM для обеспечения полностью автоматизированного, высококачественного и постоянно обновляемого бенчмарка. Мы применяем BenchBuilder к подсказкам из Chatbot Arena для создания Arena-Hard-Auto v0.1: 500 сложных пользовательских подсказок из широкого спектра задач. Arena-Hard-Auto v0.1 предлагает интервалы уверенности, сжатые в 3 раза по сравнению с MT-Bench, и достигает современного уровня согласованности 89,1% с рейтингами предпочтений людей, все это по стоимости всего лишь $25 и без участия человеческих разметчиков. Пайплайн BenchBuilder улучшает оценочные бенчмарки и предоставляет ценный инструмент для разработчиков, позволяя извлекать высококачественные бенчмарки из обширных данных с минимальными усилиями.

English

The rapid evolution of language models has necessitated the development of more challenging benchmarks. Current static benchmarks often struggle to consistently distinguish between the capabilities of different models and fail to align with real-world user preferences. On the other hand, live crowd-sourced platforms like the Chatbot Arena collect a wide range of natural prompts and user feedback. However, these prompts vary in sophistication and the feedback cannot be applied offline to new models. In order to ensure that benchmarks keep up with the pace of LLM development, we address how one can evaluate benchmarks on their ability to confidently separate models and their alignment with human preference. Under these principles, we developed BenchBuilder, a living benchmark that filters high-quality prompts from live data sources to enable offline evaluation on fresh, challenging prompts. BenchBuilder identifies seven indicators of a high-quality prompt, such as the requirement for domain knowledge, and utilizes an LLM annotator to select a high-quality subset of prompts from various topic clusters. The LLM evaluation process employs an LLM judge to ensure a fully automated, high-quality, and constantly updating benchmark. We apply BenchBuilder on prompts from the Chatbot Arena to create Arena-Hard-Auto v0.1: 500 challenging user prompts from a wide range of tasks. Arena-Hard-Auto v0.1 offers 3x tighter confidence intervals than MT-Bench and achieves a state-of-the-art 89.1% agreement with human preference rankings, all at a cost of only $25 and without human labelers. The BenchBuilder pipeline enhances evaluation benchmarks and provides a valuable tool for developers, enabling them to extract high-quality benchmarks from extensive data with minimal effort.