ScienceAgentBench: к строгой оценке языковых агентов для научных открытий на основе данных

ScienceAgentBench: Toward Rigorous Assessment of Language Agents for Data-Driven Scientific Discovery

October 7, 2024

Авторы: Ziru Chen, Shijie Chen, Yuting Ning, Qianheng Zhang, Boshi Wang, Botao Yu, Yifei Li, Zeyi Liao, Chen Wei, Zitong Lu, Vishal Dey, Mingyi Xue, Frazier N. Baker, Benjamin Burns, Daniel Adu-Ampratwum, Xuhui Huang, Xia Ning, Song Gao, Yu Su, Huan Sun

cs.AI

Аннотация

Продвижения моделей языковых моделей (LLM) вызвали растущий интерес к разработке агентов на основе LLM для автоматизации научных открытий от начала до конца, что вызвало как восторг, так и скепсис относительно истинных возможностей таких агентов. В данной работе мы утверждаем, что для полной автоматизации научных открытий агент должен быть способен выполнять все необходимые задачи в рабочем процессе. Таким образом, мы призываем к тщательной оценке агентов по отдельным задачам в научном рабочем процессе перед тем, как делать смелые заявления о полной автоматизации. Для этого мы представляем ScienceAgentBench, новый бенчмарк для оценки языковых агентов для данных-ориентированных научных открытий. Для обеспечения научной достоверности и актуальности нашего бенчмарка мы извлекаем 102 задачи из 44 публикаций в четырех областях и привлекаем девять экспертов по предмету для их проверки. Мы приводим целевой результат для каждой задачи к самодостаточному файлу программы на Python и используем ряд метрик оценки для анализа сгенерированных программ, результатов выполнения и затрат. Каждая задача проходит через несколько раундов ручной проверки аннотаторами и экспертами по предмету для обеспечения качества аннотации и научной правдоподобности. Мы также предлагаем две эффективные стратегии для смягчения опасений по поводу загрязнения данных. С использованием нашего бенчмарка мы оцениваем пять открытых и закрытых LLM, каждый с тремя фреймворками: прямое подталкивание, OpenHands и самоотладка. При трех попытках для каждой задачи лучший агент может решить лишь 32,4% задач независимо и 34,3% с предоставленными экспертами знаниями. Эти результаты подчеркивают ограниченные возможности текущих языковых агентов в генерации кода для данных-ориентированных открытий, не говоря уже о полной автоматизации для научных исследований.

English

The advancements of language language models (LLMs) have piqued growing interest in developing LLM-based language agents to automate scientific discovery end-to-end, which has sparked both excitement and skepticism about the true capabilities of such agents. In this work, we argue that for an agent to fully automate scientific discovery, it must be able to complete all essential tasks in the workflow. Thus, we call for rigorous assessment of agents on individual tasks in a scientific workflow before making bold claims on end-to-end automation. To this end, we present ScienceAgentBench, a new benchmark for evaluating language agents for data-driven scientific discovery. To ensure the scientific authenticity and real-world relevance of our benchmark, we extract 102 tasks from 44 peer-reviewed publications in four disciplines and engage nine subject matter experts to validate them. We unify the target output for every task to a self-contained Python program file and employ an array of evaluation metrics to examine the generated programs, execution results, and costs. Each task goes through multiple rounds of manual validation by annotators and subject matter experts to ensure its annotation quality and scientific plausibility. We also propose two effective strategies to mitigate data contamination concerns. Using our benchmark, we evaluate five open-weight and proprietary LLMs, each with three frameworks: direct prompting, OpenHands, and self-debug. Given three attempts for each task, the best-performing agent can only solve 32.4% of the tasks independently and 34.3% with expert-provided knowledge. These results underscore the limited capacities of current language agents in generating code for data-driven discovery, let alone end-to-end automation for scientific research.