サイエンスボード：現実的な科学ワークフローにおけるマルチモーダル自律エージェントの評価

ScienceBoard: Evaluating Multimodal Autonomous Agents in Realistic Scientific Workflows

May 26, 2025

著者: Qiushi Sun, Zhoumianze Liu, Chang Ma, Zichen Ding, Fangzhi Xu, Zhangyue Yin, Haiteng Zhao, Zhenyu Wu, Kanzhi Cheng, Zhaoyang Liu, Jianing Wang, Qintong Li, Xiangru Tang, Tianbao Xie, Xiachong Feng, Xiang Li, Ben Kao, Wenhai Wang, Biqing Qi, Lingpeng Kong, Zhiyong Wu

cs.AI

要旨

大規模言語モデル（LLMs）は、自然言語処理の領域を超えてその影響を拡大し、学際的研究の発展を大きく促進しています。最近では、科学の発見プロセスを多面的かつ多領域にわたって支援するための様々なLLMベースのエージェントが開発されています。その中でも、人間と同様にオペレーティングシステムと対話できるコンピュータ使用エージェントは、自動化された科学的問題解決や研究者のワークフローにおけるルーチンタスクの対応への道を切り開いています。これらのエージェントの変革的な可能性を認識し、我々はScienceBoardを紹介します。ScienceBoardは、以下の2つの補完的な貢献を含んでいます：(i) 動的で視覚的に豊かな科学的ワークフローと統合された専門ソフトウェアを特徴とする現実的な多領域環境で、エージェントが異なるインターフェースを介して自律的に相互作用し、複雑な研究タスクや実験を加速することができる環境、(ii) 生化学、天文学、地理情報科学などの領域における科学的発見のワークフローにまたがる、人間によって厳密に検証された169の高品質な実世界タスクからなる挑戦的なベンチマーク。最先端のバックボーン（例：GPT-4o、Claude 3.7、UI-TARS）を備えたエージェントの広範な評価は、いくつかの有望な結果があるものの、複雑なワークフローにおいて科学者を確実に支援するにはまだ不十分であり、全体の成功率はわずか15％であることを示しています。詳細な分析は、現在のエージェントの限界に対処し、より効果的な設計原則を導くための貴重な洞察を提供し、科学の発見のためのより有能なエージェントを構築する道を切り開きます。我々のコード、環境、およびベンチマークはhttps://qiushisun.github.io/ScienceBoard-Home/にあります。

English

Large Language Models (LLMs) have extended their impact beyond Natural Language Processing, substantially fostering the development of interdisciplinary research. Recently, various LLM-based agents have been developed to assist scientific discovery progress across multiple aspects and domains. Among these, computer-using agents, capable of interacting with operating systems as humans do, are paving the way to automated scientific problem-solving and addressing routines in researchers' workflows. Recognizing the transformative potential of these agents, we introduce ScienceBoard, which encompasses two complementary contributions: (i) a realistic, multi-domain environment featuring dynamic and visually rich scientific workflows with integrated professional software, where agents can autonomously interact via different interfaces to accelerate complex research tasks and experiments; and (ii) a challenging benchmark of 169 high-quality, rigorously validated real-world tasks curated by humans, spanning scientific-discovery workflows in domains such as biochemistry, astronomy, and geoinformatics. Extensive evaluations of agents with state-of-the-art backbones (e.g., GPT-4o, Claude 3.7, UI-TARS) show that, despite some promising results, they still fall short of reliably assisting scientists in complex workflows, achieving only a 15% overall success rate. In-depth analysis further provides valuable insights for addressing current agent limitations and more effective design principles, paving the way to build more capable agents for scientific discovery. Our code, environment, and benchmark are at https://qiushisun.github.io/ScienceBoard-Home/.