BoxingGym: Benchmarken van vooruitgang in geautomatiseerd experimenteel ontwerp en modelontdekking

BoxingGym: Benchmarking Progress in Automated Experimental Design and Model Discovery

January 2, 2025

Auteurs: Kanishk Gandhi, Michael Y. Li, Lyle Goodyear, Louise Li, Aditi Bhaskar, Mohammed Zaman, Noah D. Goodman

cs.AI

Samenvatting

Het begrijpen van de wereld en het verklaren ervan met wetenschappelijke theorieën is een centrale ambitie van onderzoek in kunstmatige intelligentie. Het voorstellen van theorieën, het ontwerpen van experimenten om ze te testen, en ze vervolgens te herzien op basis van gegevens zijn fundamenteel voor wetenschappelijke ontdekkingen. Ondanks de aanzienlijke belofte van op LLM gebaseerde wetenschappelijke agenten, zijn er geen benchmarks die systematisch de capaciteit van LLM testen om wetenschappelijke modellen voor te stellen, experimentele gegevens te verzamelen, en deze te herzien in het licht van nieuwe gegevens. Wij introduceren BoxingGym, een benchmark met 10 omgevingen voor het systematisch evalueren van zowel experimenteel ontwerp (bijv. het verzamelen van gegevens om een wetenschappelijke theorie te testen) als modelontdekking (bijv. het voorstellen en herzien van wetenschappelijke theorieën). Om een haalbare en kwantitatieve evaluatie mogelijk te maken, implementeren we elke omgeving als een generatief probabilistisch model waarmee een wetenschappelijke agent interactieve experimenten kan uitvoeren. Deze probabilistische modellen zijn afkomstig uit verschillende wetenschappelijke domeinen variërend van psychologie tot ecologie. Om de capaciteit van een wetenschappelijke agent om informatieve experimentele gegevens te verzamelen kwantitatief te evalueren, berekenen we de verwachte informatiewinst (EIG), een informatie-theoretische grootheid die meet hoeveel een experiment de onzekerheid over de parameters van een generatief model vermindert. Een goede wetenschappelijke theorie is een beknopte en voorspellende verklaring. Daarom vragen we om modelontdekking kwantitatief te evalueren, een wetenschappelijke agent om hun model uit te leggen en vervolgens te beoordelen of deze uitleg een andere wetenschappelijke agent in staat stelt betrouwbare voorspellingen te doen over deze omgeving. Naast deze evaluatie op basis van uitleg, berekenen we standaard model evaluatiemetrics zoals voorspellingsfouten. We constateren dat huidige LLM's, zoals GPT-4o, moeite hebben met zowel experimenteel ontwerp als modelontdekking. We vinden dat het versterken van de LLM-gebaseerde agent met een expliciet statistisch model deze resultaten niet betrouwbaar verbetert.

English

Understanding the world and explaining it with scientific theories is a central aspiration of artificial intelligence research. Proposing theories, designing experiments to test them, and then revising them based on data are fundamental to scientific discovery. Despite the significant promise of LLM-based scientific agents, no benchmarks systematically test LLM's ability to propose scientific models, collect experimental data, and revise them in light of new data. We introduce BoxingGym, a benchmark with 10 environments for systematically evaluating both experimental design (e.g. collecting data to test a scientific theory) and model discovery (e.g. proposing and revising scientific theories). To enable tractable and quantitative evaluation, we implement each environment as a generative probabilistic model with which a scientific agent can run interactive experiments. These probabilistic models are drawn from various real-world scientific domains ranging from psychology to ecology. To quantitatively evaluate a scientific agent's ability to collect informative experimental data, we compute the expected information gain (EIG), an information-theoretic quantity which measures how much an experiment reduces uncertainty about the parameters of a generative model. A good scientific theory is a concise and predictive explanation. Therefore, to quantitatively evaluate model discovery, we ask a scientific agent to explain their model and then assess whether this explanation enables another scientific agent to make reliable predictions about this environment. In addition to this explanation-based evaluation, we compute standard model evaluation metrics such as prediction errors. We find that current LLMs, such as GPT-4o, struggle with both experimental design and model discovery. We find that augmenting the LLM-based agent with an explicit statistical model does not reliably improve these results.