Benchmark Tudo em Todo Lugar ao Mesmo Tempo

Resumo

Benchmarks são fundamentais para avaliar e avançar LLMs e MLLMs ao fornecer medidas padronizadas e explícitas de desempenho. No entanto, sua construção é intensiva em mão de obra e difícil de reutilizar, gerando preocupações sobre sustentabilidade e escalabilidade. Além disso, benchmarks existentes frequentemente atingem saturação de desempenho logo após seu lançamento, resultando em discriminação insuficiente entre modelos de estado da arte. Para enfrentar esses desafios, apresentamos o Benchmark Agent, um sistema agentivo totalmente autônomo projetado para a construção de benchmarks. Nosso framework orquestra o pipeline completo de construção de benchmarks, desde a análise de consulta do usuário e design de subtarefas até a anotação de dados e controle de qualidade. Para avaliar o Benchmark Agent, implementamo-lo para produzir 15 benchmarks representativos, abrangendo diversos cenários de avaliação, incluindo compreensão textual, compreensão multimodal e raciocínio específico de domínio. Experimentos extensivos, incluindo avaliação humana, avaliação de LLM como juiz e verificações de consistência, demonstram que o Benchmark Agent pode gerar amostras de benchmark de alta qualidade com mínimo envolvimento humano. Mais importante ainda, por meio de avaliação contínua, observamos várias descobertas esclarecedoras, incluindo que modelos atuais têm dificuldade com certas tarefas de raciocínio específico de domínio. Acreditamos que benchmarks em rápida evolução podem contribuir significativamente para a comunidade de pesquisa. A pré-visualização e o código estarão disponíveis publicamente na página de demonstração e no repositório de código.

English

Benchmarks are fundamental for evaluating and advancing LLMs and MLLMs by providing standardized and explicit measures of performance. However, their construction is labor-intensive and hard to reuse, raising concerns about sustainability and scalability. Moreover, existing benchmarks often quickly reach performance saturation after their release, resulting in insufficient discrimination among state-of-the-art models. To address these challenges, we introduce Benchmark Agent, a fully autonomous agentic system designed for benchmark building. Our framework orchestrates the complete benchmark construction pipeline, from user query analysis and subtask design to data annotation and quality control. To assess Benchmark Agent, we implement it to produce 15 representative benchmarks, spanning diverse evaluation scenarios, including text understanding, multimodal understanding, and domain-specific reasoning. Extensive experiments, including human evaluation, LLM-as-a-judge assessment, and consistency checks, demonstrate Benchmark Agent can generate high-quality benchmark samples with minimal human involvement. More importantly, through continual evaluation, we observe several insightful findings, including that current models struggle with certain domain-specific reasoning tasks. We believe that rapidly evolving benchmarks can contribute significantly to the research community. The preview and code will be publicly available at the demo page and code repository.