PhysGym: Avaliação de LLMs na Descoberta Interativa de Física com Prioridades Controladas

PhysGym: Benchmarking LLMs in Interactive Physics Discovery with Controlled Priors

July 21, 2025

Autores: Yimeng Chen, Piotr Piȩkos, Mateusz Ostaszewski, Firas Laakom, Jürgen Schmidhuber

cs.AI

Resumo

Avaliar as capacidades de descoberta científica de agentes baseados em grandes modelos de linguagem (LLMs), particularmente como eles lidam com a complexidade variável do ambiente e utilizam conhecimento prévio, requer benchmarks especializados que atualmente estão ausentes no cenário. Para preencher essa lacuna, introduzimos o PhysGym, uma nova suíte de benchmarks e plataforma de simulação para avaliar rigorosamente o raciocínio científico baseado em LLMs em ambientes interativos de física. A principal contribuição do PhysGym reside em seu controle sofisticado sobre o nível de conhecimento prévio fornecido ao agente. Isso permite que os pesquisadores analisem o desempenho do agente ao longo de eixos que incluem a complexidade do problema e os níveis de conhecimento prévio. O benchmark compreende uma suíte de simulações interativas, onde os agentes devem investigar ativamente os ambientes, coletar dados sequencialmente sob restrições e formular hipóteses sobre as leis físicas subjacentes. O PhysGym fornece protocolos e métricas padronizados para avaliar a precisão das hipóteses e a fidelidade do modelo. Demonstramos a utilidade do benchmark apresentando resultados de LLMs de linha de base, destacando sua capacidade de diferenciar as capacidades com base em diferentes conhecimentos prévios e complexidades de tarefas.

English

Evaluating the scientific discovery capabilities of large language model based agents, particularly how they cope with varying environmental complexity and utilize prior knowledge, requires specialized benchmarks currently lacking in the landscape. To address this gap, we introduce PhysGym, a novel benchmark suite and simulation platform for rigorously assessing LLM-based scientific reasoning in interactive physics environments. PhysGym's primary contribution lies in its sophisticated control over the level of prior knowledge provided to the agent. This allows researchers to dissect agent performance along axes including the complexity of the problem and the prior knowledge levels. The benchmark comprises a suite of interactive simulations, where agents must actively probe environments, gather data sequentially under constraints and formulate hypotheses about underlying physical laws. PhysGym provides standardized evaluation protocols and metrics for assessing hypothesis accuracy and model fidelity. We demonstrate the benchmark's utility by presenting results from baseline LLMs, showcasing its ability to differentiate capabilities based on varying priors and task complexity.