ScienceBoard: Evaluatie van Multimodale Autonome Agenten in Realistische Wetenschappelijke Werkstromen

ScienceBoard: Evaluating Multimodal Autonomous Agents in Realistic Scientific Workflows

May 26, 2025

Auteurs: Qiushi Sun, Zhoumianze Liu, Chang Ma, Zichen Ding, Fangzhi Xu, Zhangyue Yin, Haiteng Zhao, Zhenyu Wu, Kanzhi Cheng, Zhaoyang Liu, Jianing Wang, Qintong Li, Xiangru Tang, Tianbao Xie, Xiachong Feng, Xiang Li, Ben Kao, Wenhai Wang, Biqing Qi, Lingpeng Kong, Zhiyong Wu

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben hun invloed uitgebreid buiten Natuurlijke Taalverwerking, en dragen aanzienlijk bij aan de ontwikkeling van interdisciplinair onderzoek. Onlangs zijn verschillende LLM-gebaseerde agents ontwikkeld om de voortgang van wetenschappelijke ontdekkingen te ondersteunen op meerdere aspecten en domeinen. Onder deze agents bevinden zich computergebruikende agents, die in staat zijn om met besturingssystemen te interacteren zoals mensen dat doen, en zo de weg vrijmaken voor geautomatiseerde wetenschappelijke probleemoplossing en routinehandelingen in de workflows van onderzoekers. Erkennend het transformerende potentieel van deze agents, introduceren wij ScienceBoard, dat twee complementaire bijdragen omvat: (i) een realistische, multidomeinomgeving met dynamische en visueel rijke wetenschappelijke workflows met geïntegreerde professionele software, waar agents autonoom kunnen interacteren via verschillende interfaces om complexe onderzoektaken en experimenten te versnellen; en (ii) een uitdagende benchmark van 169 hoogwaardige, rigoureus gevalideerde real-world taken, samengesteld door mensen, die wetenschappelijke ontdekkingsworkflows omvatten in domeinen zoals biochemie, astronomie en geoinformatica. Uitgebreide evaluaties van agents met state-of-the-art backbones (bijv. GPT-4o, Claude 3.7, UI-TARS) tonen aan dat, ondanks enkele veelbelovende resultaten, ze nog steeds tekortschieten in het betrouwbaar ondersteunen van wetenschappers in complexe workflows, met slechts een algeheel succespercentage van 15%. Diepgaande analyse biedt verder waardevolle inzichten voor het aanpakken van de huidige beperkingen van agents en effectievere ontwerpprincipes, waardoor de weg wordt geëffend voor het bouwen van capabelere agents voor wetenschappelijke ontdekking. Onze code, omgeving en benchmark zijn te vinden op https://qiushisun.github.io/ScienceBoard-Home/.

English

Large Language Models (LLMs) have extended their impact beyond Natural Language Processing, substantially fostering the development of interdisciplinary research. Recently, various LLM-based agents have been developed to assist scientific discovery progress across multiple aspects and domains. Among these, computer-using agents, capable of interacting with operating systems as humans do, are paving the way to automated scientific problem-solving and addressing routines in researchers' workflows. Recognizing the transformative potential of these agents, we introduce ScienceBoard, which encompasses two complementary contributions: (i) a realistic, multi-domain environment featuring dynamic and visually rich scientific workflows with integrated professional software, where agents can autonomously interact via different interfaces to accelerate complex research tasks and experiments; and (ii) a challenging benchmark of 169 high-quality, rigorously validated real-world tasks curated by humans, spanning scientific-discovery workflows in domains such as biochemistry, astronomy, and geoinformatics. Extensive evaluations of agents with state-of-the-art backbones (e.g., GPT-4o, Claude 3.7, UI-TARS) show that, despite some promising results, they still fall short of reliably assisting scientists in complex workflows, achieving only a 15% overall success rate. In-depth analysis further provides valuable insights for addressing current agent limitations and more effective design principles, paving the way to build more capable agents for scientific discovery. Our code, environment, and benchmark are at https://qiushisun.github.io/ScienceBoard-Home/.