ScienceBoard : Évaluation des agents autonomes multimodaux dans des workflows scientifiques réalistes

ScienceBoard: Evaluating Multimodal Autonomous Agents in Realistic Scientific Workflows

May 26, 2025

Auteurs: Qiushi Sun, Zhoumianze Liu, Chang Ma, Zichen Ding, Fangzhi Xu, Zhangyue Yin, Haiteng Zhao, Zhenyu Wu, Kanzhi Cheng, Zhaoyang Liu, Jianing Wang, Qintong Li, Xiangru Tang, Tianbao Xie, Xiachong Feng, Xiang Li, Ben Kao, Wenhai Wang, Biqing Qi, Lingpeng Kong, Zhiyong Wu

cs.AI

Résumé

Les modèles de langage de grande taille (LLMs) ont étendu leur impact au-delà du traitement du langage naturel, favorisant considérablement le développement de recherches interdisciplinaires. Récemment, divers agents basés sur des LLMs ont été développés pour assister les progrès de la découverte scientifique à travers de multiples aspects et domaines. Parmi ceux-ci, les agents utilisant des ordinateurs, capables d'interagir avec les systèmes d'exploitation comme le font les humains, ouvrent la voie à la résolution automatisée de problèmes scientifiques et à la gestion des routines dans les workflows des chercheurs. Reconnaissant le potentiel transformateur de ces agents, nous présentons ScienceBoard, qui englobe deux contributions complémentaires : (i) un environnement réaliste et multi-domaines mettant en avant des workflows scientifiques dynamiques et visuellement riches avec des logiciels professionnels intégrés, où les agents peuvent interagir de manière autonome via différentes interfaces pour accélérer des tâches et expériences de recherche complexes ; et (ii) un benchmark exigeant de 169 tâches de haute qualité, rigoureusement validées et issues du monde réel, couvrant des workflows de découverte scientifique dans des domaines tels que la biochimie, l'astronomie et la géoinformatique. Des évaluations approfondies d'agents dotés de backbones de pointe (par exemple, GPT-4o, Claude 3.7, UI-TARS) montrent que, malgré certains résultats prometteurs, ils ne parviennent pas encore à assister de manière fiable les scientifiques dans des workflows complexes, atteignant seulement un taux de réussite global de 15 %. Une analyse approfondie fournit en outre des insights précieux pour surmonter les limitations actuelles des agents et pour des principes de conception plus efficaces, ouvrant la voie à la création d'agents plus performants pour la découverte scientifique. Notre code, environnement et benchmark sont disponibles à l'adresse suivante : https://qiushisun.github.io/ScienceBoard-Home/.

English

Large Language Models (LLMs) have extended their impact beyond Natural Language Processing, substantially fostering the development of interdisciplinary research. Recently, various LLM-based agents have been developed to assist scientific discovery progress across multiple aspects and domains. Among these, computer-using agents, capable of interacting with operating systems as humans do, are paving the way to automated scientific problem-solving and addressing routines in researchers' workflows. Recognizing the transformative potential of these agents, we introduce ScienceBoard, which encompasses two complementary contributions: (i) a realistic, multi-domain environment featuring dynamic and visually rich scientific workflows with integrated professional software, where agents can autonomously interact via different interfaces to accelerate complex research tasks and experiments; and (ii) a challenging benchmark of 169 high-quality, rigorously validated real-world tasks curated by humans, spanning scientific-discovery workflows in domains such as biochemistry, astronomy, and geoinformatics. Extensive evaluations of agents with state-of-the-art backbones (e.g., GPT-4o, Claude 3.7, UI-TARS) show that, despite some promising results, they still fall short of reliably assisting scientists in complex workflows, achieving only a 15% overall success rate. In-depth analysis further provides valuable insights for addressing current agent limitations and more effective design principles, paving the way to build more capable agents for scientific discovery. Our code, environment, and benchmark are at https://qiushisun.github.io/ScienceBoard-Home/.