PhysGym: Benchmarking von LLMs in interaktiver Physikentdeckung mit kontrollierten Priors
PhysGym: Benchmarking LLMs in Interactive Physics Discovery with Controlled Priors
July 21, 2025
papers.authors: Yimeng Chen, Piotr Piȩkos, Mateusz Ostaszewski, Firas Laakom, Jürgen Schmidhuber
cs.AI
papers.abstract
Die Bewertung der wissenschaftlichen Entdeckungsfähigkeiten von Agenten, die auf großen Sprachmodellen basieren, insbesondere wie sie mit unterschiedlicher Umweltkomplexität umgehen und Vorwissen nutzen, erfordert spezialisierte Benchmarks, die derzeit in der Landschaft fehlen. Um diese Lücke zu schließen, stellen wir PhysGym vor, eine neuartige Benchmark-Suite und Simulationsplattform zur rigorosen Bewertung des wissenschaftlichen Denkens von LLM-basierten Agenten in interaktiven physikalischen Umgebungen. Der Hauptbeitrag von PhysGym liegt in der präzisen Kontrolle des Niveaus des dem Agenten zur Verfügung gestellten Vorwissens. Dies ermöglicht es Forschern, die Leistung des Agenten entlang von Achsen wie der Komplexität des Problems und den Vorwissensniveaus zu analysieren. Die Benchmark umfasst eine Reihe interaktiver Simulationen, in denen Agenten aktiv Umgebungen untersuchen, Daten sequenziell unter Einschränkungen sammeln und Hypothesen über zugrunde liegende physikalische Gesetze formulieren müssen. PhysGym bietet standardisierte Evaluierungsprotokolle und Metriken zur Bewertung der Hypothesengenauigkeit und Modelltreue. Wir demonstrieren den Nutzen der Benchmark, indem wir Ergebnisse von Baseline-LLMs präsentieren, die ihre Fähigkeit zeigen, Leistungen basierend auf unterschiedlichem Vorwissen und Aufgabenkomplexität zu differenzieren.
English
Evaluating the scientific discovery capabilities of large language model
based agents, particularly how they cope with varying environmental complexity
and utilize prior knowledge, requires specialized benchmarks currently lacking
in the landscape. To address this gap, we introduce PhysGym, a novel benchmark
suite and simulation platform for rigorously assessing LLM-based scientific
reasoning in interactive physics environments. PhysGym's primary contribution
lies in its sophisticated control over the level of prior knowledge provided to
the agent. This allows researchers to dissect agent performance along axes
including the complexity of the problem and the prior knowledge levels. The
benchmark comprises a suite of interactive simulations, where agents must
actively probe environments, gather data sequentially under constraints and
formulate hypotheses about underlying physical laws. PhysGym provides
standardized evaluation protocols and metrics for assessing hypothesis accuracy
and model fidelity. We demonstrate the benchmark's utility by presenting
results from baseline LLMs, showcasing its ability to differentiate
capabilities based on varying priors and task complexity.