BoxingGym: Оценка прогресса в автоматизированном экспериментальном проектировании и обнаружении моделей

BoxingGym: Benchmarking Progress in Automated Experimental Design and Model Discovery

January 2, 2025

Авторы: Kanishk Gandhi, Michael Y. Li, Lyle Goodyear, Louise Li, Aditi Bhaskar, Mohammed Zaman, Noah D. Goodman

cs.AI

Аннотация

Понимание мира и его объяснение с помощью научных теорий является центральной целью исследований в области искусственного интеллекта. Предложение теорий, разработка экспериментов для их проверки, а затем их корректировка на основе данных являются фундаментальными для научных открытий. Несмотря на значительные перспективы научных агентов на основе LLM, не существует стандартных тестов, которые систематически проверяли бы способность LLM предлагать научные модели, собирать экспериментальные данные и корректировать их на основе новых данных. Мы представляем BoxingGym, бенчмарк с 10 средами для систематической оценки как экспериментального дизайна (например, сбор данных для проверки научной теории), так и открытия моделей (например, предложение и корректировка научных теорий). Для обеспечения удобной и количественной оценки мы реализуем каждую среду как генеративную вероятностную модель, с помощью которой научный агент может проводить интерактивные эксперименты. Эти вероятностные модели взяты из различных научных областей реального мира, начиная от психологии и заканчивая экологией. Для количественной оценки способности научного агента собирать информативные экспериментальные данные мы вычисляем ожидаемый прирост информации (EIG), информационную величину, которая измеряет, насколько эксперимент снижает неопределенность относительно параметров генеративной модели. Хорошая научная теория - это краткое и предсказательное объяснение. Поэтому для количественной оценки открытия модели мы просим научного агента объяснить свою модель, а затем оцениваем, позволяет ли это объяснение другому научному агенту делать надежные прогнозы об этой среде. Помимо этой оценки на основе объяснений, мы вычисляем стандартные метрики оценки модели, такие как ошибки прогнозирования. Мы обнаружили, что текущие LLM, такие как GPT-4o, испытывают затруднения как с экспериментальным дизайном, так и с открытием моделей. Мы выяснили, что дополнение агента на основе LLM явной статистической моделью не надежно улучшает эти результаты.

English

Understanding the world and explaining it with scientific theories is a central aspiration of artificial intelligence research. Proposing theories, designing experiments to test them, and then revising them based on data are fundamental to scientific discovery. Despite the significant promise of LLM-based scientific agents, no benchmarks systematically test LLM's ability to propose scientific models, collect experimental data, and revise them in light of new data. We introduce BoxingGym, a benchmark with 10 environments for systematically evaluating both experimental design (e.g. collecting data to test a scientific theory) and model discovery (e.g. proposing and revising scientific theories). To enable tractable and quantitative evaluation, we implement each environment as a generative probabilistic model with which a scientific agent can run interactive experiments. These probabilistic models are drawn from various real-world scientific domains ranging from psychology to ecology. To quantitatively evaluate a scientific agent's ability to collect informative experimental data, we compute the expected information gain (EIG), an information-theoretic quantity which measures how much an experiment reduces uncertainty about the parameters of a generative model. A good scientific theory is a concise and predictive explanation. Therefore, to quantitatively evaluate model discovery, we ask a scientific agent to explain their model and then assess whether this explanation enables another scientific agent to make reliable predictions about this environment. In addition to this explanation-based evaluation, we compute standard model evaluation metrics such as prediction errors. We find that current LLMs, such as GPT-4o, struggle with both experimental design and model discovery. We find that augmenting the LLM-based agent with an explicit statistical model does not reliably improve these results.