ONEBench для тестирования всех: бенчмаркинг на уровне образца для оценки открытых возможностей.

ONEBench to Test Them All: Sample-Level Benchmarking Over Open-Ended Capabilities

December 9, 2024

Авторы: Adhiraj Ghosh, Sebastian Dziadzio, Ameya Prabhu, Vishaal Udandarao, Samuel Albanie, Matthias Bethge

cs.AI

Аннотация

Традиционные фиксированные наборы тестов недостаточно эффективны для оценки возможностей фундаментальных моделей. Для решения этой проблемы мы предлагаем ONEBench (OpeN-Ended Benchmarking) - новую парадигму тестирования, которая объединяет отдельные наборы данных для оценки в единый, постоянно расширяющийся образец. ONEBench позволяет пользователям создавать индивидуальные, открытые бенчмарки для оценки из этого образца, соответствующие конкретным интересующим возможностям. Агрегируя образцы из различных наборов тестов, ONEBench позволяет оценивать разнообразные возможности, выходящие за рамки оригинальных наборов тестов, при этом снижая переобучение и предвзятость данных. Важно отметить, что он представляет оценку модели как коллективный процесс выбора и агрегирования тестов на уровне образцов. Переход от задаче-специфичных бенчмарков к ONEBench вводит две проблемы: (1) гетерогенность и (2) неполноту. Гетерогенность относится к агрегации различных метрик, в то время как неполнота описывает сравнение моделей, оцененных на различных подмножествах данных. Для решения этих проблем мы исследуем алгоритмы для агрегации разреженных измерений в надежные оценки модели. Наш алгоритм агрегации обеспечивает идентифицируемость (асимптотическое восстановление истинных оценок) и быструю сходимость, обеспечивая точное ранжирование моделей с меньшим объемом данных. На однородных наборах данных мы показываем, что наш алгоритм агрегации предоставляет ранжирование, которое сильно коррелирует с теми, которые получаются на основе средних оценок. Мы также демонстрируем устойчивость к отсутствию примерно 95% измерений, снижая стоимость оценки до 20 раз с незначительным или отсутствующим изменением в ранжировании моделей. Мы представляем ONEBench-LLM для языковых моделей и ONEBench-LMM для моделей видео-языка, объединяя оценки в этих областях. В целом, мы представляем технику для открытой оценки, которая может агрегировать неполные, гетерогенные измерения на уровне образцов для постоянного расширения бенчмарка наряду с быстроразвивающимися фундаментальными моделями.

English

Traditional fixed test sets fall short in evaluating open-ended capabilities of foundation models. To address this, we propose ONEBench(OpeN-Ended Benchmarking), a new testing paradigm that consolidates individual evaluation datasets into a unified, ever-expanding sample pool. ONEBench allows users to generate custom, open-ended evaluation benchmarks from this pool, corresponding to specific capabilities of interest. By aggregating samples across test sets, ONEBench enables the assessment of diverse capabilities beyond those covered by the original test sets, while mitigating overfitting and dataset bias. Most importantly, it frames model evaluation as a collective process of selecting and aggregating sample-level tests. The shift from task-specific benchmarks to ONEBench introduces two challenges: (1)heterogeneity and (2)incompleteness. Heterogeneity refers to the aggregation over diverse metrics, while incompleteness describes comparing models evaluated on different data subsets. To address these challenges, we explore algorithms to aggregate sparse measurements into reliable model scores. Our aggregation algorithm ensures identifiability(asymptotically recovering ground-truth scores) and rapid convergence, enabling accurate model ranking with less data. On homogenous datasets, we show our aggregation algorithm provides rankings that highly correlate with those produced by average scores. We also demonstrate robustness to ~95% of measurements missing, reducing evaluation cost by up to 20x with little-to-no change in model rankings. We introduce ONEBench-LLM for language models and ONEBench-LMM for vision-language models, unifying evaluations across these domains. Overall, we present a technique for open-ended evaluation, which can aggregate over incomplete, heterogeneous sample-level measurements to continually grow a benchmark alongside the rapidly developing foundation models.