PhysGym: Evaluación de Modelos de Lenguaje en el Descubrimiento Interactivo de Física con Priores Controlados

PhysGym: Benchmarking LLMs in Interactive Physics Discovery with Controlled Priors

July 21, 2025

Autores: Yimeng Chen, Piotr Piȩkos, Mateusz Ostaszewski, Firas Laakom, Jürgen Schmidhuber

cs.AI

Resumen

Evaluar las capacidades de descubrimiento científico de los agentes basados en modelos de lenguaje grandes (LLM), particularmente cómo manejan la complejidad ambiental variable y utilizan el conocimiento previo, requiere puntos de referencia especializados que actualmente faltan en el panorama. Para abordar esta brecha, presentamos PhysGym, una suite de referencia novedosa y una plataforma de simulación diseñada para evaluar rigurosamente el razonamiento científico basado en LLM en entornos interactivos de física. La principal contribución de PhysGym radica en su sofisticado control sobre el nivel de conocimiento previo proporcionado al agente. Esto permite a los investigadores analizar el desempeño del agente a lo largo de ejes que incluyen la complejidad del problema y los niveles de conocimiento previo. El punto de referencia comprende una serie de simulaciones interactivas, donde los agentes deben sondear activamente los entornos, recopilar datos de manera secuencial bajo restricciones y formular hipótesis sobre las leyes físicas subyacentes. PhysGym proporciona protocolos y métricas estandarizados para evaluar la precisión de las hipótesis y la fidelidad del modelo. Demostramos la utilidad del punto de referencia presentando resultados de LLM de referencia, mostrando su capacidad para diferenciar las capacidades según los conocimientos previos y la complejidad de la tarea.

English

Evaluating the scientific discovery capabilities of large language model based agents, particularly how they cope with varying environmental complexity and utilize prior knowledge, requires specialized benchmarks currently lacking in the landscape. To address this gap, we introduce PhysGym, a novel benchmark suite and simulation platform for rigorously assessing LLM-based scientific reasoning in interactive physics environments. PhysGym's primary contribution lies in its sophisticated control over the level of prior knowledge provided to the agent. This allows researchers to dissect agent performance along axes including the complexity of the problem and the prior knowledge levels. The benchmark comprises a suite of interactive simulations, where agents must actively probe environments, gather data sequentially under constraints and formulate hypotheses about underlying physical laws. PhysGym provides standardized evaluation protocols and metrics for assessing hypothesis accuracy and model fidelity. We demonstrate the benchmark's utility by presenting results from baseline LLMs, showcasing its ability to differentiate capabilities based on varying priors and task complexity.