ScienceBoard: Evaluación de Agentes Autónomos Multimodales en Flujos de Trabajo Científicos Realistas

ScienceBoard: Evaluating Multimodal Autonomous Agents in Realistic Scientific Workflows

May 26, 2025

Autores: Qiushi Sun, Zhoumianze Liu, Chang Ma, Zichen Ding, Fangzhi Xu, Zhangyue Yin, Haiteng Zhao, Zhenyu Wu, Kanzhi Cheng, Zhaoyang Liu, Jianing Wang, Qintong Li, Xiangru Tang, Tianbao Xie, Xiachong Feng, Xiang Li, Ben Kao, Wenhai Wang, Biqing Qi, Lingpeng Kong, Zhiyong Wu

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs) han extendido su impacto más allá del Procesamiento del Lenguaje Natural, fomentando sustancialmente el desarrollo de investigaciones interdisciplinarias. Recientemente, se han desarrollado diversos agentes basados en LLMs para asistir en el progreso del descubrimiento científico en múltiples aspectos y dominios. Entre estos, los agentes que utilizan computadoras, capaces de interactuar con sistemas operativos como lo harían los humanos, están allanando el camino hacia la resolución automatizada de problemas científicos y la gestión de rutinas en los flujos de trabajo de los investigadores. Reconociendo el potencial transformador de estos agentes, presentamos ScienceBoard, que abarca dos contribuciones complementarias: (i) un entorno realista y multidominio que presenta flujos de trabajo científicos dinámicos y visualmente ricos con software profesional integrado, donde los agentes pueden interactuar de manera autónoma a través de diferentes interfaces para acelerar tareas y experimentos de investigación complejos; y (ii) un benchmark desafiante de 169 tareas de alta calidad y rigurosamente validadas en el mundo real, curadas por humanos, que abarcan flujos de trabajo de descubrimiento científico en dominios como bioquímica, astronomía y geoinformática. Evaluaciones exhaustivas de agentes con arquitecturas de vanguardia (por ejemplo, GPT-4o, Claude 3.7, UI-TARS) muestran que, a pesar de algunos resultados prometedores, aún no alcanzan a asistir de manera confiable a los científicos en flujos de trabajo complejos, logrando solo una tasa de éxito general del 15%. Un análisis en profundidad proporciona además valiosas ideas para abordar las limitaciones actuales de los agentes y principios de diseño más efectivos, allanando el camino para construir agentes más capaces para el descubrimiento científico. Nuestro código, entorno y benchmark están disponibles en https://qiushisun.github.io/ScienceBoard-Home/.

English

Large Language Models (LLMs) have extended their impact beyond Natural Language Processing, substantially fostering the development of interdisciplinary research. Recently, various LLM-based agents have been developed to assist scientific discovery progress across multiple aspects and domains. Among these, computer-using agents, capable of interacting with operating systems as humans do, are paving the way to automated scientific problem-solving and addressing routines in researchers' workflows. Recognizing the transformative potential of these agents, we introduce ScienceBoard, which encompasses two complementary contributions: (i) a realistic, multi-domain environment featuring dynamic and visually rich scientific workflows with integrated professional software, where agents can autonomously interact via different interfaces to accelerate complex research tasks and experiments; and (ii) a challenging benchmark of 169 high-quality, rigorously validated real-world tasks curated by humans, spanning scientific-discovery workflows in domains such as biochemistry, astronomy, and geoinformatics. Extensive evaluations of agents with state-of-the-art backbones (e.g., GPT-4o, Claude 3.7, UI-TARS) show that, despite some promising results, they still fall short of reliably assisting scientists in complex workflows, achieving only a 15% overall success rate. In-depth analysis further provides valuable insights for addressing current agent limitations and more effective design principles, paving the way to build more capable agents for scientific discovery. Our code, environment, and benchmark are at https://qiushisun.github.io/ScienceBoard-Home/.