PhysGym: Оценка производительности языковых моделей в интерактивном открытии физических законов с контролируемыми априорными знаниями

PhysGym: Benchmarking LLMs in Interactive Physics Discovery with Controlled Priors

July 21, 2025

Авторы: Yimeng Chen, Piotr Piȩkos, Mateusz Ostaszewski, Firas Laakom, Jürgen Schmidhuber

cs.AI

Аннотация

Оценка способностей агентов на основе больших языковых моделей (LLM) к научным открытиям, в частности, их способности справляться с различной сложностью окружающей среды и использовать предварительные знания, требует специализированных тестовых наборов, которые в настоящее время отсутствуют. Для устранения этого пробела мы представляем PhysGym — новый набор тестов и платформу моделирования, предназначенные для строгой оценки научного мышления LLM в интерактивных физических средах. Основной вклад PhysGym заключается в сложном контроле уровня предварительных знаний, предоставляемых агенту. Это позволяет исследователям анализировать производительность агента по таким параметрам, как сложность задачи и уровень предварительных знаний. Набор тестов включает серию интерактивных симуляций, в которых агенты должны активно исследовать среды, последовательно собирать данные в условиях ограничений и формулировать гипотезы о лежащих в основе физических законах. PhysGym предоставляет стандартизированные протоколы оценки и метрики для проверки точности гипотез и достоверности моделей. Мы демонстрируем полезность набора тестов, представляя результаты базовых LLM, показывая его способность дифференцировать возможности в зависимости от различных предварительных знаний и сложности задач.

English

Evaluating the scientific discovery capabilities of large language model based agents, particularly how they cope with varying environmental complexity and utilize prior knowledge, requires specialized benchmarks currently lacking in the landscape. To address this gap, we introduce PhysGym, a novel benchmark suite and simulation platform for rigorously assessing LLM-based scientific reasoning in interactive physics environments. PhysGym's primary contribution lies in its sophisticated control over the level of prior knowledge provided to the agent. This allows researchers to dissect agent performance along axes including the complexity of the problem and the prior knowledge levels. The benchmark comprises a suite of interactive simulations, where agents must actively probe environments, gather data sequentially under constraints and formulate hypotheses about underlying physical laws. PhysGym provides standardized evaluation protocols and metrics for assessing hypothesis accuracy and model fidelity. We demonstrate the benchmark's utility by presenting results from baseline LLMs, showcasing its ability to differentiate capabilities based on varying priors and task complexity.