Benchmark alles überall auf einmal

Zusammenfassung

Benchmarks sind grundlegend für die Evaluierung und Weiterentwicklung von LLMs und MLLMs, da sie standardisierte und explizite Leistungsmaße liefern. Ihre Erstellung ist jedoch arbeitsintensiv und schwer wiederverwendbar, was Bedenken hinsichtlich Nachhaltigkeit und Skalierbarkeit aufwirft. Darüber hinaus erreichen bestehende Benchmarks nach ihrer Veröffentlichung oft schnell eine Leistungssättigung, was zu einer unzureichenden Unterscheidungsfähigkeit zwischen hochmodernen Modellen führt. Um diese Herausforderungen zu bewältigen, stellen wir Benchmark Agent vor, ein vollständig autonomes agentisches System, das für die Erstellung von Benchmarks konzipiert ist. Unser Framework orchestriert die gesamte Pipeline zur Benchmark-Erstellung, von der Analyse der Benutzeranfrage und dem Design von Subtasks bis hin zur Datenannotation und Qualitätskontrolle. Um Benchmark Agent zu evaluieren, setzen wir es ein, um 15 repräsentative Benchmarks zu erstellen, die verschiedene Evaluierungsszenarien abdecken, darunter Textverständnis, multimodales Verständnis und domänenspezifisches Reasoning. Umfangreiche Experimente, darunter menschliche Evaluierung, LLM-as-a-Judge-Bewertung und Konsistenzprüfungen, zeigen, dass Benchmark Agent in der Lage ist, hochwertige Benchmark-Beispiele mit minimalem menschlichem Eingriff zu generieren. Noch wichtiger ist, dass wir durch kontinuierliche Evaluierung mehrere aufschlussreiche Erkenntnisse gewinnen, darunter, dass aktuelle Modelle bei bestimmten domänenspezifischen Reasoning-Aufgaben Schwierigkeiten haben. Wir glauben, dass sich schnell weiterentwickelnde Benchmarks einen bedeutenden Beitrag zur Forschungsgemeinschaft leisten können. Die Vorschau und der Code werden auf der Demoseite und im Code-Repository öffentlich zugänglich sein.

English

Benchmarks are fundamental for evaluating and advancing LLMs and MLLMs by providing standardized and explicit measures of performance. However, their construction is labor-intensive and hard to reuse, raising concerns about sustainability and scalability. Moreover, existing benchmarks often quickly reach performance saturation after their release, resulting in insufficient discrimination among state-of-the-art models. To address these challenges, we introduce Benchmark Agent, a fully autonomous agentic system designed for benchmark building. Our framework orchestrates the complete benchmark construction pipeline, from user query analysis and subtask design to data annotation and quality control. To assess Benchmark Agent, we implement it to produce 15 representative benchmarks, spanning diverse evaluation scenarios, including text understanding, multimodal understanding, and domain-specific reasoning. Extensive experiments, including human evaluation, LLM-as-a-judge assessment, and consistency checks, demonstrate Benchmark Agent can generate high-quality benchmark samples with minimal human involvement. More importantly, through continual evaluation, we observe several insightful findings, including that current models struggle with certain domain-specific reasoning tasks. We believe that rapidly evolving benchmarks can contribute significantly to the research community. The preview and code will be publicly available at the demo page and code repository.