Benchmarken van AI-agenten voor het aanpakken van wetenschappelijke uitdagingen op verschillende schalen

Samenvatting

AI-agenten worden steeds vaker ontwikkeld om wetenschappelijke ontdekkingen te versnellen, maar hun praktische capaciteiten in echte onderzoeksomgevingen blijven slecht begrepen. Bestaande benchmarks voor AI-agenten vangen zelden de complexiteit, heterogeniteit en uitgebreide redenering die wetenschappelijk werk vereist, terwijl benchmarks voor wetenschappelijke taken onderzoek vaak reduceren tot statische, directe problemen en beperkte ondersteuning bieden voor interactieve evaluatie. Hier introduceren we SciAgentArena, een systematische benchmark voor het evalueren van AI-agenten in realistische wetenschappelijke onderzoeksscenario's, ontleend aan opkomende behoeften in meerdere domeinen. SciAgentArena omvat ongeveer 200 taken met stapsgewijze verificatie en een interactieve, agent-agnostische omgeving voor het beoordelen van diverse AI-agenten. Met behulp van deze benchmark vinden we dat huidige agenten effectief kunnen bijdragen aan goed gespecificeerde data-analyseworkflows, vooral wanneer de taakstructuur en evaluatiecriteria duidelijk zijn. Hun prestaties blijven echter ongelijkmatig over wetenschappelijke contexten: agenten hebben moeite met het genereren van werkelijk nieuwe inzichten, het volhouden van zelfgestuurde verkenning en het formuleren van robuuste oplossingen voor open onderzoeksvragen. We karakteriseren verder veelvoorkomende faalwijzen bij agenten en identificeren mogelijkheden om hun betrouwbaarheid, autonomie en wetenschappelijk redeneren te verbeteren. Samen biedt SciAgentArena een praktisch kader voor het meten van vooruitgang in AI-agenten voor de wetenschap en voor het begeleiden van het ontwerp van toekomstige agenten die in staat zijn complexe wetenschappelijke uitdagingen aan te pakken. Volledige codes, taken en datasets zijn toegankelijk via deze link: https://sciagentarena.github.io/.

English

AI agents are increasingly being developed to accelerate scientific discovery, yet their practical capabilities in real research settings remain poorly understood. Existing benchmarks for AI agents rarely capture the complexity, heterogeneity, and extended reasoning required by scientific work, whereas benchmarks for scientific tasks often reduce research to static, direct problems and provide limited support for interactive evaluation. Here, we introduce SciAgentArena, a systematic benchmark for evaluating AI agents in real-world scientific research scenarios drawn from emerging needs across multiple domains. SciAgentArena comprises approximately 200 tasks with stepwise verification and an interactive, agent-agnostic environment for assessing diverse AI agents. Using this benchmark, we find that current agents can contribute effectively to well-specified data-analysis workflows, particularly when the task structure and evaluation criteria are clear. However, their performance remains uneven across scientific contexts: agents struggle to generate genuinely novel insights, sustain self-directed exploration, and formulate robust solutions for open-ended research questions. We further characterize common failure modes across agents and identify opportunities for improving their reliability, autonomy, and scientific reasoning. Together, SciAgentArena provides a practical framework for measuring progress in AI agents for science and for guiding the design of future agents capable of addressing complex scientific challenges. Full codes, tasks, and datasets can be accessed via this link: https://sciagentarena.github.io/.