ScienceAgentBench: Rumo à Avaliação Rigorosa de Agentes de Linguagem para Descoberta Científica Baseada em Dados

ScienceAgentBench: Toward Rigorous Assessment of Language Agents for Data-Driven Scientific Discovery

October 7, 2024

Autores: Ziru Chen, Shijie Chen, Yuting Ning, Qianheng Zhang, Boshi Wang, Botao Yu, Yifei Li, Zeyi Liao, Chen Wei, Zitong Lu, Vishal Dey, Mingyi Xue, Frazier N. Baker, Benjamin Burns, Daniel Adu-Ampratwum, Xuhui Huang, Xia Ning, Song Gao, Yu Su, Huan Sun

cs.AI

Resumo

Os avanços dos modelos de linguagem (LLMs) despertaram um crescente interesse no desenvolvimento de agentes de linguagem baseados em LLMs para automatizar a descoberta científica de ponta a ponta, o que gerou tanto entusiasmo quanto ceticismo sobre as verdadeiras capacidades desses agentes. Neste trabalho, argumentamos que, para um agente automatizar completamente a descoberta científica, ele deve ser capaz de concluir todas as tarefas essenciais no fluxo de trabalho. Portanto, defendemos uma avaliação rigorosa dos agentes em tarefas individuais em um fluxo de trabalho científico antes de fazer afirmações ousadas sobre a automação de ponta a ponta. Para isso, apresentamos o ScienceAgentBench, um novo benchmark para avaliar agentes de linguagem para descoberta científica orientada por dados. Para garantir a autenticidade científica e relevância do nosso benchmark, extraímos 102 tarefas de 44 publicações revisadas por pares em quatro disciplinas e envolvemos nove especialistas no assunto para validá-las. Unificamos a saída alvo para cada tarefa em um arquivo de programa Python autocontido e utilizamos uma variedade de métricas de avaliação para examinar os programas gerados, resultados de execução e custos. Cada tarefa passa por várias rodadas de validação manual por anotadores e especialistas no assunto para garantir a qualidade da anotação e a plausibilidade científica. Também propomos duas estratégias eficazes para mitigar preocupações de contaminação de dados. Usando nosso benchmark, avaliamos cinco LLMs de peso aberto e proprietários, cada um com três estruturas: prompt direto, OpenHands e auto-depurador. Dadas três tentativas para cada tarefa, o agente com melhor desempenho só consegue resolver 32,4% das tarefas de forma independente e 34,3% com conhecimento fornecido por especialistas. Esses resultados destacam as capacidades limitadas dos atuais agentes de linguagem na geração de código para descoberta orientada por dados, muito menos para automação de ponta a ponta na pesquisa científica.

English

The advancements of language language models (LLMs) have piqued growing interest in developing LLM-based language agents to automate scientific discovery end-to-end, which has sparked both excitement and skepticism about the true capabilities of such agents. In this work, we argue that for an agent to fully automate scientific discovery, it must be able to complete all essential tasks in the workflow. Thus, we call for rigorous assessment of agents on individual tasks in a scientific workflow before making bold claims on end-to-end automation. To this end, we present ScienceAgentBench, a new benchmark for evaluating language agents for data-driven scientific discovery. To ensure the scientific authenticity and real-world relevance of our benchmark, we extract 102 tasks from 44 peer-reviewed publications in four disciplines and engage nine subject matter experts to validate them. We unify the target output for every task to a self-contained Python program file and employ an array of evaluation metrics to examine the generated programs, execution results, and costs. Each task goes through multiple rounds of manual validation by annotators and subject matter experts to ensure its annotation quality and scientific plausibility. We also propose two effective strategies to mitigate data contamination concerns. Using our benchmark, we evaluate five open-weight and proprietary LLMs, each with three frameworks: direct prompting, OpenHands, and self-debug. Given three attempts for each task, the best-performing agent can only solve 32.4% of the tasks independently and 34.3% with expert-provided knowledge. These results underscore the limited capacities of current language agents in generating code for data-driven discovery, let alone end-to-end automation for scientific research.