ScienceAgentBench : Vers une évaluation rigoureuse des agents linguistiques pour la découverte scientifique basée sur les données

ScienceAgentBench: Toward Rigorous Assessment of Language Agents for Data-Driven Scientific Discovery

October 7, 2024

Auteurs: Ziru Chen, Shijie Chen, Yuting Ning, Qianheng Zhang, Boshi Wang, Botao Yu, Yifei Li, Zeyi Liao, Chen Wei, Zitong Lu, Vishal Dey, Mingyi Xue, Frazier N. Baker, Benjamin Burns, Daniel Adu-Ampratwum, Xuhui Huang, Xia Ning, Song Gao, Yu Su, Huan Sun

cs.AI

Résumé

Les avancées des modèles de langage (LLM) ont suscité un intérêt croissant pour le développement d'agents linguistiques basés sur les LLM afin d'automatiser la découverte scientifique de bout en bout, ce qui a suscité à la fois l'excitation et le scepticisme quant aux véritables capacités de tels agents. Dans ce travail, nous soutenons qu'un agent pour automatiser pleinement la découverte scientifique doit être capable d'accomplir toutes les tâches essentielles du flux de travail. Ainsi, nous demandons une évaluation rigoureuse des agents sur des tâches individuelles dans un flux de travail scientifique avant de faire des affirmations audacieuses sur l'automatisation de bout en bout. À cette fin, nous présentons ScienceAgentBench, un nouveau banc d'essai pour évaluer les agents linguistiques pour la découverte scientifique basée sur les données. Pour garantir l'authenticité scientifique et la pertinence du monde réel de notre banc d'essai, nous extrayons 102 tâches de 44 publications évaluées par des pairs dans quatre disciplines et faisons appel à neuf experts en la matière pour les valider. Nous unifions la sortie cible pour chaque tâche dans un fichier de programme Python autonome et utilisons une gamme de métriques d'évaluation pour examiner les programmes générés, les résultats d'exécution et les coûts. Chaque tâche passe par plusieurs cycles de validation manuelle par des annotateurs et des experts en la matière pour garantir sa qualité d'annotation et sa plausibilité scientifique. Nous proposons également deux stratégies efficaces pour atténuer les préoccupations de contamination des données. En utilisant notre banc d'essai, nous évaluons cinq LLMs open-weight et propriétaires, chacun avec trois cadres : sollicitation directe, OpenHands et auto-débogage. Avec trois tentatives pour chaque tâche, l'agent le plus performant ne peut résoudre que 32,4 % des tâches de manière indépendante et 34,3 % avec des connaissances fournies par des experts. Ces résultats soulignent les capacités limitées des agents linguistiques actuels à générer du code pour la découverte basée sur les données, sans parler de l'automatisation de bout en bout pour la recherche scientifique.

English

The advancements of language language models (LLMs) have piqued growing interest in developing LLM-based language agents to automate scientific discovery end-to-end, which has sparked both excitement and skepticism about the true capabilities of such agents. In this work, we argue that for an agent to fully automate scientific discovery, it must be able to complete all essential tasks in the workflow. Thus, we call for rigorous assessment of agents on individual tasks in a scientific workflow before making bold claims on end-to-end automation. To this end, we present ScienceAgentBench, a new benchmark for evaluating language agents for data-driven scientific discovery. To ensure the scientific authenticity and real-world relevance of our benchmark, we extract 102 tasks from 44 peer-reviewed publications in four disciplines and engage nine subject matter experts to validate them. We unify the target output for every task to a self-contained Python program file and employ an array of evaluation metrics to examine the generated programs, execution results, and costs. Each task goes through multiple rounds of manual validation by annotators and subject matter experts to ensure its annotation quality and scientific plausibility. We also propose two effective strategies to mitigate data contamination concerns. Using our benchmark, we evaluate five open-weight and proprietary LLMs, each with three frameworks: direct prompting, OpenHands, and self-debug. Given three attempts for each task, the best-performing agent can only solve 32.4% of the tasks independently and 34.3% with expert-provided knowledge. These results underscore the limited capacities of current language agents in generating code for data-driven discovery, let alone end-to-end automation for scientific research.