ScienceBoard: Valutazione di Agenti Autonomi Multimodali in Flussi di Lavoro Scientifici Realistici

ScienceBoard: Evaluating Multimodal Autonomous Agents in Realistic Scientific Workflows

May 26, 2025

Autori: Qiushi Sun, Zhoumianze Liu, Chang Ma, Zichen Ding, Fangzhi Xu, Zhangyue Yin, Haiteng Zhao, Zhenyu Wu, Kanzhi Cheng, Zhaoyang Liu, Jianing Wang, Qintong Li, Xiangru Tang, Tianbao Xie, Xiachong Feng, Xiang Li, Ben Kao, Wenhai Wang, Biqing Qi, Lingpeng Kong, Zhiyong Wu

cs.AI

Abstract

I Large Language Model (LLM) hanno esteso il loro impatto oltre l'elaborazione del linguaggio naturale, contribuendo in modo significativo allo sviluppo della ricerca interdisciplinare. Recentemente, sono stati sviluppati vari agenti basati su LLM per supportare il progresso della scoperta scientifica in molteplici aspetti e domini. Tra questi, gli agenti in grado di utilizzare il computer, capaci di interagire con i sistemi operativi come farebbero gli esseri umani, stanno aprendo la strada alla risoluzione automatizzata di problemi scientifici e alla gestione di routine nei flussi di lavoro dei ricercatori. Riconoscendo il potenziale trasformativo di questi agenti, introduciamo ScienceBoard, che comprende due contributi complementari: (i) un ambiente realistico e multi-dominio caratterizzato da flussi di lavoro scientifici dinamici e visivamente ricchi con software professionali integrati, dove gli agenti possono interagire autonomamente attraverso diverse interfacce per accelerare compiti di ricerca complessi e esperimenti; e (ii) un benchmark impegnativo di 169 task di alta qualità, rigorosamente validati e curati da esseri umani, che abbracciano flussi di lavoro di scoperta scientifica in domini come biochimica, astronomia e geoinformatica. Valutazioni estensive di agenti con architetture all'avanguardia (ad esempio, GPT-4o, Claude 3.7, UI-TARS) mostrano che, nonostante alcuni risultati promettenti, essi non sono ancora in grado di assistere in modo affidabile gli scienziati in flussi di lavoro complessi, raggiungendo solo un tasso di successo complessivo del 15%. Un'analisi approfondita fornisce ulteriori spunti preziosi per affrontare le attuali limitazioni degli agenti e per principi di progettazione più efficaci, aprendo la strada alla creazione di agenti più capaci per la scoperta scientifica. Il nostro codice, ambiente e benchmark sono disponibili su https://qiushisun.github.io/ScienceBoard-Home/.

English

Large Language Models (LLMs) have extended their impact beyond Natural Language Processing, substantially fostering the development of interdisciplinary research. Recently, various LLM-based agents have been developed to assist scientific discovery progress across multiple aspects and domains. Among these, computer-using agents, capable of interacting with operating systems as humans do, are paving the way to automated scientific problem-solving and addressing routines in researchers' workflows. Recognizing the transformative potential of these agents, we introduce ScienceBoard, which encompasses two complementary contributions: (i) a realistic, multi-domain environment featuring dynamic and visually rich scientific workflows with integrated professional software, where agents can autonomously interact via different interfaces to accelerate complex research tasks and experiments; and (ii) a challenging benchmark of 169 high-quality, rigorously validated real-world tasks curated by humans, spanning scientific-discovery workflows in domains such as biochemistry, astronomy, and geoinformatics. Extensive evaluations of agents with state-of-the-art backbones (e.g., GPT-4o, Claude 3.7, UI-TARS) show that, despite some promising results, they still fall short of reliably assisting scientists in complex workflows, achieving only a 15% overall success rate. In-depth analysis further provides valuable insights for addressing current agent limitations and more effective design principles, paving the way to build more capable agents for scientific discovery. Our code, environment, and benchmark are at https://qiushisun.github.io/ScienceBoard-Home/.