Benchmarkez tout, partout, à la fois.

Résumé

Les benchmarks sont fondamentaux pour évaluer et faire progresser les LLM et les MLLM en fournissant des mesures standardisées et explicites de la performance. Cependant, leur construction est intensive en main-d'œuvre et difficile à réutiliser, ce qui suscite des préoccupations quant à la durabilité et à l'évolutivité. De plus, les benchmarks existants atteignent souvent rapidement une saturation des performances après leur publication, entraînant une discrimination insuffisante entre les modèles de pointe. Pour relever ces défis, nous présentons Benchmark Agent, un système agentique entièrement autonome conçu pour la construction de benchmarks. Notre cadre orchestre le pipeline complet de construction de benchmarks, de l'analyse des requêtes utilisateur et de la conception de sous-tâches à l'annotation des données et au contrôle qualité. Pour évaluer Benchmark Agent, nous l'implémentons pour produire 15 benchmarks représentatifs, couvrant divers scénarios d'évaluation, y compris la compréhension de texte, la compréhension multimodale et le raisonnement spécifique à un domaine. Des expériences approfondies, incluant une évaluation humaine, une évaluation par LLM en tant que juge et des vérifications de cohérence, démontrent que Benchmark Agent peut générer des échantillons de benchmark de haute qualité avec une implication humaine minimale. Plus important encore, grâce à une évaluation continue, nous observons plusieurs résultats éclairants, notamment que les modèles actuels rencontrent des difficultés avec certaines tâches de raisonnement spécifiques à un domaine. Nous pensons que des benchmarks en évolution rapide peuvent contribuer de manière significative à la communauté de recherche. L'aperçu et le code seront accessibles au public sur la page de démonstration et le dépôt de code.

English

Benchmarks are fundamental for evaluating and advancing LLMs and MLLMs by providing standardized and explicit measures of performance. However, their construction is labor-intensive and hard to reuse, raising concerns about sustainability and scalability. Moreover, existing benchmarks often quickly reach performance saturation after their release, resulting in insufficient discrimination among state-of-the-art models. To address these challenges, we introduce Benchmark Agent, a fully autonomous agentic system designed for benchmark building. Our framework orchestrates the complete benchmark construction pipeline, from user query analysis and subtask design to data annotation and quality control. To assess Benchmark Agent, we implement it to produce 15 representative benchmarks, spanning diverse evaluation scenarios, including text understanding, multimodal understanding, and domain-specific reasoning. Extensive experiments, including human evaluation, LLM-as-a-judge assessment, and consistency checks, demonstrate Benchmark Agent can generate high-quality benchmark samples with minimal human involvement. More importantly, through continual evaluation, we observe several insightful findings, including that current models struggle with certain domain-specific reasoning tasks. We believe that rapidly evolving benchmarks can contribute significantly to the research community. The preview and code will be publicly available at the demo page and code repository.