ScienceAgentBench: Hacia una Evaluación Rigurosa de Agentes de Lenguaje para el Descubrimiento Científico Basado en Datos

ScienceAgentBench: Toward Rigorous Assessment of Language Agents for Data-Driven Scientific Discovery

October 7, 2024

Autores: Ziru Chen, Shijie Chen, Yuting Ning, Qianheng Zhang, Boshi Wang, Botao Yu, Yifei Li, Zeyi Liao, Chen Wei, Zitong Lu, Vishal Dey, Mingyi Xue, Frazier N. Baker, Benjamin Burns, Daniel Adu-Ampratwum, Xuhui Huang, Xia Ning, Song Gao, Yu Su, Huan Sun

cs.AI

Resumen

Los avances de los modelos de lenguaje (LLMs, por sus siglas en inglés) han despertado un creciente interés en el desarrollo de agentes de lenguaje basados en LLM para automatizar el descubrimiento científico de principio a fin, lo cual ha generado tanto entusiasmo como escepticismo sobre las verdaderas capacidades de dichos agentes. En este trabajo, argumentamos que para que un agente automatice completamente el descubrimiento científico, debe ser capaz de completar todas las tareas esenciales en el flujo de trabajo. Por lo tanto, abogamos por una evaluación rigurosa de los agentes en tareas individuales en un flujo de trabajo científico antes de hacer afirmaciones audaces sobre la automatización de extremo a extremo. Con este fin, presentamos ScienceAgentBench, un nuevo banco de pruebas para evaluar agentes de lenguaje para el descubrimiento científico basado en datos. Para garantizar la autenticidad científica y la relevancia del mundo real de nuestro banco de pruebas, extraemos 102 tareas de 44 publicaciones revisadas por pares en cuatro disciplinas y contamos con la validación de nueve expertos en la materia. Unificamos la salida objetivo para cada tarea en un archivo de programa Python autocontenido y empleamos una serie de métricas de evaluación para examinar los programas generados, los resultados de ejecución y los costos. Cada tarea pasa por múltiples rondas de validación manual por parte de anotadores y expertos en la materia para garantizar la calidad de la anotación y la plausibilidad científica. También proponemos dos estrategias efectivas para mitigar las preocupaciones de contaminación de datos. Utilizando nuestro banco de pruebas, evaluamos cinco LLMs de peso abierto y propietarios, cada uno con tres marcos: solicitud directa, OpenHands y autodepuración. Dadas tres intentos para cada tarea, el agente de mejor rendimiento solo puede resolver el 32.4% de las tareas de forma independiente y el 34.3% con conocimiento proporcionado por expertos. Estos resultados subrayan las capacidades limitadas de los actuales agentes de lenguaje en la generación de código para el descubrimiento basado en datos, y mucho menos para la automatización de extremo a extremo en la investigación científica.

English

The advancements of language language models (LLMs) have piqued growing interest in developing LLM-based language agents to automate scientific discovery end-to-end, which has sparked both excitement and skepticism about the true capabilities of such agents. In this work, we argue that for an agent to fully automate scientific discovery, it must be able to complete all essential tasks in the workflow. Thus, we call for rigorous assessment of agents on individual tasks in a scientific workflow before making bold claims on end-to-end automation. To this end, we present ScienceAgentBench, a new benchmark for evaluating language agents for data-driven scientific discovery. To ensure the scientific authenticity and real-world relevance of our benchmark, we extract 102 tasks from 44 peer-reviewed publications in four disciplines and engage nine subject matter experts to validate them. We unify the target output for every task to a self-contained Python program file and employ an array of evaluation metrics to examine the generated programs, execution results, and costs. Each task goes through multiple rounds of manual validation by annotators and subject matter experts to ensure its annotation quality and scientific plausibility. We also propose two effective strategies to mitigate data contamination concerns. Using our benchmark, we evaluate five open-weight and proprietary LLMs, each with three frameworks: direct prompting, OpenHands, and self-debug. Given three attempts for each task, the best-performing agent can only solve 32.4% of the tasks independently and 34.3% with expert-provided knowledge. These results underscore the limited capacities of current language agents in generating code for data-driven discovery, let alone end-to-end automation for scientific research.