Бенчмарк всего везде и сразу

Аннотация

Бенчмарки являются основополагающими для оценки и развития больших языковых моделей (LLM) и мультимодальных больших языковых моделей (MLLM), предоставляя стандартизированные и чёткие показатели производительности. Однако их создание требует значительных трудозатрат и плохо поддаётся повторному использованию, что вызывает опасения относительно устойчивости и масштабируемости. Кроме того, существующие бенчмарки зачастую быстро достигают насыщения производительности после публикации, что приводит к недостаточной различимости современных моделей. Для решения этих проблем мы представляем Benchmark Agent — полностью автономную агентную систему, предназначенную для построения бенчмарков. Наш фреймворк организует полный конвейер создания бенчмарков: от анализа запроса пользователя и разработки подзадач до аннотирования данных и контроля качества. Для оценки Benchmark Agent мы реализовали его в виде 15 репрезентативных бенчмарков, охватывающих различные сценарии оценки, включая понимание текста, мультимодальное понимание и предметно-специфические рассуждения. Обширные эксперименты, включающие оценку человеком, оценку с помощью LLM в качестве судьи и проверки согласованности, демонстрируют, что Benchmark Agent способен генерировать высококачественные образцы бенчмарков при минимальном участии человека. Что ещё более важно, в ходе непрерывной оценки мы выявили несколько важных результатов, в том числе то, что современные модели испытывают трудности с определёнными задачами предметно-специфических рассуждений. Мы полагаем, что быстро развивающиеся бенчмарки могут внести значительный вклад в исследовательское сообщество. Предварительная версия и код будут доступны на демонстрационной странице и в репозитории кода.

English

Benchmarks are fundamental for evaluating and advancing LLMs and MLLMs by providing standardized and explicit measures of performance. However, their construction is labor-intensive and hard to reuse, raising concerns about sustainability and scalability. Moreover, existing benchmarks often quickly reach performance saturation after their release, resulting in insufficient discrimination among state-of-the-art models. To address these challenges, we introduce Benchmark Agent, a fully autonomous agentic system designed for benchmark building. Our framework orchestrates the complete benchmark construction pipeline, from user query analysis and subtask design to data annotation and quality control. To assess Benchmark Agent, we implement it to produce 15 representative benchmarks, spanning diverse evaluation scenarios, including text understanding, multimodal understanding, and domain-specific reasoning. Extensive experiments, including human evaluation, LLM-as-a-judge assessment, and consistency checks, demonstrate Benchmark Agent can generate high-quality benchmark samples with minimal human involvement. More importantly, through continual evaluation, we observe several insightful findings, including that current models struggle with certain domain-specific reasoning tasks. We believe that rapidly evolving benchmarks can contribute significantly to the research community. The preview and code will be publicly available at the demo page and code repository.