ScienceBoard: Avaliação de Agentes Autônomos Multimodais em Fluxos de Trabalho Científicos Realistas

ScienceBoard: Evaluating Multimodal Autonomous Agents in Realistic Scientific Workflows

May 26, 2025

Autores: Qiushi Sun, Zhoumianze Liu, Chang Ma, Zichen Ding, Fangzhi Xu, Zhangyue Yin, Haiteng Zhao, Zhenyu Wu, Kanzhi Cheng, Zhaoyang Liu, Jianing Wang, Qintong Li, Xiangru Tang, Tianbao Xie, Xiachong Feng, Xiang Li, Ben Kao, Wenhai Wang, Biqing Qi, Lingpeng Kong, Zhiyong Wu

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) expandiram seu impacto além do Processamento de Linguagem Natural, impulsionando substancialmente o desenvolvimento de pesquisas interdisciplinares. Recentemente, diversos agentes baseados em LLMs foram desenvolvidos para auxiliar o progresso da descoberta científica em múltiplos aspectos e domínios. Entre esses, os agentes que utilizam computadores, capazes de interagir com sistemas operacionais como humanos, estão abrindo caminho para a resolução automatizada de problemas científicos e a otimização de rotinas nos fluxos de trabalho dos pesquisadores. Reconhecendo o potencial transformador desses agentes, apresentamos o ScienceBoard, que engloba duas contribuições complementares: (i) um ambiente realista e multidisciplinar que apresenta fluxos de trabalho científicos dinâmicos e visualmente ricos com software profissional integrado, onde os agentes podem interagir de forma autônoma por meio de diferentes interfaces para acelerar tarefas e experimentos de pesquisa complexos; e (ii) um benchmark desafiador composto por 169 tarefas de alta qualidade e rigorosamente validadas, curadas por humanos, abrangendo fluxos de trabalho de descoberta científica em domínios como bioquímica, astronomia e geoinformática. Avaliações extensivas de agentes com arquiteturas de ponta (por exemplo, GPT-4o, Claude 3.7, UI-TARS) mostram que, apesar de alguns resultados promissores, eles ainda estão aquém de auxiliar cientistas de forma confiável em fluxos de trabalho complexos, alcançando uma taxa de sucesso geral de apenas 15%. Análises detalhadas fornecem insights valiosos para abordar as limitações atuais dos agentes e princípios de design mais eficazes, pavimentando o caminho para a construção de agentes mais capazes para a descoberta científica. Nosso código, ambiente e benchmark estão disponíveis em https://qiushisun.github.io/ScienceBoard-Home/.

English

Large Language Models (LLMs) have extended their impact beyond Natural Language Processing, substantially fostering the development of interdisciplinary research. Recently, various LLM-based agents have been developed to assist scientific discovery progress across multiple aspects and domains. Among these, computer-using agents, capable of interacting with operating systems as humans do, are paving the way to automated scientific problem-solving and addressing routines in researchers' workflows. Recognizing the transformative potential of these agents, we introduce ScienceBoard, which encompasses two complementary contributions: (i) a realistic, multi-domain environment featuring dynamic and visually rich scientific workflows with integrated professional software, where agents can autonomously interact via different interfaces to accelerate complex research tasks and experiments; and (ii) a challenging benchmark of 169 high-quality, rigorously validated real-world tasks curated by humans, spanning scientific-discovery workflows in domains such as biochemistry, astronomy, and geoinformatics. Extensive evaluations of agents with state-of-the-art backbones (e.g., GPT-4o, Claude 3.7, UI-TARS) show that, despite some promising results, they still fall short of reliably assisting scientists in complex workflows, achieving only a 15% overall success rate. In-depth analysis further provides valuable insights for addressing current agent limitations and more effective design principles, paving the way to build more capable agents for scientific discovery. Our code, environment, and benchmark are at https://qiushisun.github.io/ScienceBoard-Home/.