ScienceAgentBench: Verso una Valutazione Rigorosa degli Agenti Linguistici per la Scoperta Scientifica Basata sui Dati

Abstract

I progressi dei modelli linguistici basati su linguaggio (LLM) hanno suscitato un crescente interesse nello sviluppo di agenti linguistici basati su LLM per automatizzare la scoperta scientifica end-to-end, scatenando sia entusiasmo che scetticismo sulle vere capacità di tali agenti. In questo lavoro, sosteniamo che affinché un agente possa automatizzare completamente la scoperta scientifica, deve essere in grado di completare tutti i compiti essenziali nel flusso di lavoro. Pertanto, richiamiamo a una valutazione rigorosa degli agenti su compiti individuali in un flusso di lavoro scientifico prima di fare affermazioni audaci sull'automazione end-to-end. A tal fine, presentiamo ScienceAgentBench, un nuovo benchmark per valutare gli agenti linguistici per la scoperta scientifica basata sui dati. Per garantire l'autenticità scientifica e la rilevanza nel mondo reale del nostro benchmark, estraiamo 102 compiti da 44 pubblicazioni peer-reviewed in quattro discipline e coinvolgiamo nove esperti del settore per convalidarli. Unifichiamo l'output target per ogni compito in un file di programma Python autosufficiente e utilizziamo una serie di metriche di valutazione per esaminare i programmi generati, i risultati dell'esecuzione e i costi. Ogni compito passa attraverso diverse fasi di convalida manuale da parte degli annotatori e degli esperti del settore per garantire la qualità dell'annotazione e la plausibilità scientifica. Proponiamo inoltre due strategie efficaci per mitigare le preoccupazioni di contaminazione dei dati. Utilizzando il nostro benchmark, valutiamo cinque LLM open-weight e proprietari, ciascuno con tre framework: prompt diretto, OpenHands e auto-debug. Considerando tre tentativi per ogni compito, l'agente che ha prestazioni migliori può risolvere solo il 32,4% dei compiti in modo indipendente e il 34,3% con conoscenze fornite dagli esperti. Questi risultati evidenziano le capacità limitate degli attuali agenti linguistici nella generazione di codice per la scoperta basata sui dati, figuriamoci l'automazione end-to-end per la ricerca scientifica.

English

The advancements of language language models (LLMs) have piqued growing interest in developing LLM-based language agents to automate scientific discovery end-to-end, which has sparked both excitement and skepticism about the true capabilities of such agents. In this work, we argue that for an agent to fully automate scientific discovery, it must be able to complete all essential tasks in the workflow. Thus, we call for rigorous assessment of agents on individual tasks in a scientific workflow before making bold claims on end-to-end automation. To this end, we present ScienceAgentBench, a new benchmark for evaluating language agents for data-driven scientific discovery. To ensure the scientific authenticity and real-world relevance of our benchmark, we extract 102 tasks from 44 peer-reviewed publications in four disciplines and engage nine subject matter experts to validate them. We unify the target output for every task to a self-contained Python program file and employ an array of evaluation metrics to examine the generated programs, execution results, and costs. Each task goes through multiple rounds of manual validation by annotators and subject matter experts to ensure its annotation quality and scientific plausibility. We also propose two effective strategies to mitigate data contamination concerns. Using our benchmark, we evaluate five open-weight and proprietary LLMs, each with three frameworks: direct prompting, OpenHands, and self-debug. Given three attempts for each task, the best-performing agent can only solve 32.4% of the tasks independently and 34.3% with expert-provided knowledge. These results underscore the limited capacities of current language agents in generating code for data-driven discovery, let alone end-to-end automation for scientific research.

ScienceAgentBench: Verso una Valutazione Rigorosa degli Agenti Linguistici per la Scoperta Scientifica Basata sui Dati

ScienceAgentBench: Toward Rigorous Assessment of Language Agents for Data-Driven Scientific Discovery

Abstract

Support