ScienceAgentBench: Auf dem Weg zu einer strengen Bewertung von Sprachagenten für datengesteuerte wissenschaftliche Entdeckungen

ScienceAgentBench: Toward Rigorous Assessment of Language Agents for Data-Driven Scientific Discovery

October 7, 2024

Autoren: Ziru Chen, Shijie Chen, Yuting Ning, Qianheng Zhang, Boshi Wang, Botao Yu, Yifei Li, Zeyi Liao, Chen Wei, Zitong Lu, Vishal Dey, Mingyi Xue, Frazier N. Baker, Benjamin Burns, Daniel Adu-Ampratwum, Xuhui Huang, Xia Ning, Song Gao, Yu Su, Huan Sun

cs.AI

Zusammenfassung

Die Fortschritte von Sprachmodellen (LLMs) haben ein wachsendes Interesse an der Entwicklung von auf LLM basierenden Sprachagenten zur Automatisierung wissenschaftlicher Entdeckungen geweckt, was sowohl Begeisterung als auch Skepsis über die tatsächlichen Fähigkeiten solcher Agenten hervorgerufen hat. In dieser Arbeit argumentieren wir, dass ein Agent, um wissenschaftliche Entdeckungen vollständig zu automatisieren, alle wesentlichen Aufgaben im Arbeitsablauf abschließen können muss. Daher fordern wir eine gründliche Bewertung von Agenten in einzelnen Aufgaben im wissenschaftlichen Workflow, bevor kühne Behauptungen über die End-to-End-Automatisierung aufgestellt werden. Zu diesem Zweck präsentieren wir ScienceAgentBench, einen neuen Benchmark zur Bewertung von Sprachagenten für datengesteuerte wissenschaftliche Entdeckungen. Um die wissenschaftliche Authentizität und die realweltliche Relevanz unseres Benchmarks sicherzustellen, extrahieren wir 102 Aufgaben aus 44 peer-reviewed Veröffentlichungen in vier Disziplinen und beauftragen neun Fachexperten, diese zu validieren. Wir vereinheitlichen die Zielausgabe für jede Aufgabe in eine eigenständige Python-Programmdatei und verwenden eine Reihe von Bewertungsmetriken, um die generierten Programme, Ausführungsergebnisse und Kosten zu untersuchen. Jede Aufgabe durchläuft mehrere Runden manueller Validierung durch Annotatoren und Fachexperten, um die Qualität der Annotation und wissenschaftliche Plausibilität sicherzustellen. Wir schlagen auch zwei effektive Strategien zur Minderung von Bedenken hinsichtlich Datenkontamination vor. Unter Verwendung unseres Benchmarks bewerten wir fünf offene und proprietäre LLMs, jeweils mit drei Frameworks: direkte Aufforderung, OpenHands und Selbst-Debugging. Bei drei Versuchen für jede Aufgabe kann der am besten abschneidende Agent nur 32,4% der Aufgaben eigenständig lösen und 34,3% mit Expertenwissen. Diese Ergebnisse unterstreichen die begrenzten Kapazitäten der aktuellen Sprachagenten bei der Generierung von Code für datengesteuerte Entdeckungen, geschweige denn bei der End-to-End-Automatisierung für wissenschaftliche Forschung.

English

The advancements of language language models (LLMs) have piqued growing interest in developing LLM-based language agents to automate scientific discovery end-to-end, which has sparked both excitement and skepticism about the true capabilities of such agents. In this work, we argue that for an agent to fully automate scientific discovery, it must be able to complete all essential tasks in the workflow. Thus, we call for rigorous assessment of agents on individual tasks in a scientific workflow before making bold claims on end-to-end automation. To this end, we present ScienceAgentBench, a new benchmark for evaluating language agents for data-driven scientific discovery. To ensure the scientific authenticity and real-world relevance of our benchmark, we extract 102 tasks from 44 peer-reviewed publications in four disciplines and engage nine subject matter experts to validate them. We unify the target output for every task to a self-contained Python program file and employ an array of evaluation metrics to examine the generated programs, execution results, and costs. Each task goes through multiple rounds of manual validation by annotators and subject matter experts to ensure its annotation quality and scientific plausibility. We also propose two effective strategies to mitigate data contamination concerns. Using our benchmark, we evaluate five open-weight and proprietary LLMs, each with three frameworks: direct prompting, OpenHands, and self-debug. Given three attempts for each task, the best-performing agent can only solve 32.4% of the tasks independently and 34.3% with expert-provided knowledge. These results underscore the limited capacities of current language agents in generating code for data-driven discovery, let alone end-to-end automation for scientific research.