PhysGym: Het benchmarken van LLM's in interactieve natuurkunde-ontdekking met gecontroleerde voorkennis

PhysGym: Benchmarking LLMs in Interactive Physics Discovery with Controlled Priors

July 21, 2025

Auteurs: Yimeng Chen, Piotr Piȩkos, Mateusz Ostaszewski, Firas Laakom, Jürgen Schmidhuber

cs.AI

Samenvatting

Het evalueren van de wetenschappelijke ontdekkingscapaciteiten van op grote taalmodellen gebaseerde agents, met name hoe ze omgaan met variërende omgevingscomplexiteit en gebruikmaken van voorkennis, vereist gespecialiseerde benchmarks die momenteel ontbreken. Om deze leemte op te vullen, introduceren we PhysGym, een nieuwe benchmark suite en simulatieplatform voor het rigoureus beoordelen van wetenschappelijk redeneren op basis van grote taalmodellen in interactieve fysica-omgevingen. De primaire bijdrage van PhysGym ligt in de geavanceerde controle over het niveau van voorkennis dat aan de agent wordt verstrekt. Hierdoor kunnen onderzoekers de prestaties van de agent analyseren langs assen zoals de complexiteit van het probleem en de niveaus van voorkennis. De benchmark bestaat uit een reeks interactieve simulaties, waarbij agents actief omgevingen moeten verkennen, sequentieel gegevens moeten verzamelen onder beperkingen en hypothesen moeten formuleren over onderliggende fysische wetten. PhysGym biedt gestandaardiseerde evaluatieprotocollen en metrieken voor het beoordelen van de nauwkeurigheid van hypothesen en de betrouwbaarheid van modellen. We demonstreren het nut van de benchmark door resultaten te presenteren van baseline grote taalmodellen, waarbij we aantonen dat het in staat is om capaciteiten te onderscheiden op basis van variërende voorkennis en taakcomplexiteit.

English

Evaluating the scientific discovery capabilities of large language model based agents, particularly how they cope with varying environmental complexity and utilize prior knowledge, requires specialized benchmarks currently lacking in the landscape. To address this gap, we introduce PhysGym, a novel benchmark suite and simulation platform for rigorously assessing LLM-based scientific reasoning in interactive physics environments. PhysGym's primary contribution lies in its sophisticated control over the level of prior knowledge provided to the agent. This allows researchers to dissect agent performance along axes including the complexity of the problem and the prior knowledge levels. The benchmark comprises a suite of interactive simulations, where agents must actively probe environments, gather data sequentially under constraints and formulate hypotheses about underlying physical laws. PhysGym provides standardized evaluation protocols and metrics for assessing hypothesis accuracy and model fidelity. We demonstrate the benchmark's utility by presenting results from baseline LLMs, showcasing its ability to differentiate capabilities based on varying priors and task complexity.