BoxingGym: Evaluación del Progreso en el Diseño Experimental Automatizado y Descubrimiento de Modelos

BoxingGym: Benchmarking Progress in Automated Experimental Design and Model Discovery

January 2, 2025

Autores: Kanishk Gandhi, Michael Y. Li, Lyle Goodyear, Louise Li, Aditi Bhaskar, Mohammed Zaman, Noah D. Goodman

cs.AI

Resumen

Comprender el mundo y explicarlo con teorías científicas es una aspiración central de la investigación en inteligencia artificial. Proponer teorías, diseñar experimentos para probarlas y luego revisarlas basándose en datos son fundamentales para el descubrimiento científico. A pesar de la promesa significativa de agentes científicos basados en LLM, no existen benchmarks que prueben sistemáticamente la capacidad de los LLM para proponer modelos científicos, recopilar datos experimentales y revisarlos a la luz de nuevos datos. Presentamos BoxingGym, un benchmark con 10 entornos para evaluar sistemáticamente tanto el diseño experimental (por ejemplo, recopilar datos para probar una teoría científica) como el descubrimiento de modelos (por ejemplo, proponer y revisar teorías científicas). Para permitir una evaluación manejable y cuantitativa, implementamos cada entorno como un modelo probabilístico generativo con el cual un agente científico puede realizar experimentos interactivos. Estos modelos probabilísticos se extraen de diversos dominios científicos del mundo real, que van desde la psicología hasta la ecología. Para evaluar cuantitativamente la capacidad de un agente científico para recopilar datos experimentales informativos, calculamos la ganancia de información esperada (EIG), una cantidad de teoría de la información que mide cuánto reduce la incertidumbre un experimento sobre los parámetros de un modelo generativo. Una buena teoría científica es una explicación concisa y predictiva. Por lo tanto, para evaluar cuantitativamente el descubrimiento de modelos, pedimos a un agente científico que explique su modelo y luego evaluamos si esta explicación permite a otro agente científico hacer predicciones confiables sobre este entorno. Además de esta evaluación basada en explicaciones, calculamos métricas estándar de evaluación de modelos como errores de predicción. Encontramos que los LLM actuales, como GPT-4o, tienen dificultades tanto con el diseño experimental como con el descubrimiento de modelos. Observamos que aumentar el agente basado en LLM con un modelo estadístico explícito no mejora de manera confiable estos resultados.

English

Understanding the world and explaining it with scientific theories is a central aspiration of artificial intelligence research. Proposing theories, designing experiments to test them, and then revising them based on data are fundamental to scientific discovery. Despite the significant promise of LLM-based scientific agents, no benchmarks systematically test LLM's ability to propose scientific models, collect experimental data, and revise them in light of new data. We introduce BoxingGym, a benchmark with 10 environments for systematically evaluating both experimental design (e.g. collecting data to test a scientific theory) and model discovery (e.g. proposing and revising scientific theories). To enable tractable and quantitative evaluation, we implement each environment as a generative probabilistic model with which a scientific agent can run interactive experiments. These probabilistic models are drawn from various real-world scientific domains ranging from psychology to ecology. To quantitatively evaluate a scientific agent's ability to collect informative experimental data, we compute the expected information gain (EIG), an information-theoretic quantity which measures how much an experiment reduces uncertainty about the parameters of a generative model. A good scientific theory is a concise and predictive explanation. Therefore, to quantitatively evaluate model discovery, we ask a scientific agent to explain their model and then assess whether this explanation enables another scientific agent to make reliable predictions about this environment. In addition to this explanation-based evaluation, we compute standard model evaluation metrics such as prediction errors. We find that current LLMs, such as GPT-4o, struggle with both experimental design and model discovery. We find that augmenting the LLM-based agent with an explicit statistical model does not reliably improve these results.