PRL-Bench: Um Benchmark Abrangente para Avaliar as Capacidades dos LLMs na Investigação de Física de Fronteira
PRL-Bench: A Comprehensive Benchmark Evaluating LLMs' Capabilities in Frontier Physics Research
April 16, 2026
Autores: Tingjia Miao, Wenkai Jin, Muhua Zhang, Jinxin Tan, Yuelin Hu, Tu Guo, Jiejun Zhang, Yuhan Wang, Wenbo Li, Yinuo Gao, Shuo Chen, Weiqi Jiang, Yayun Hu, Zixing Lei, Xianghe Pang, Zexi Liu, Yuzhi Zhang, Linfeng Zhang, Kun Chen, Wei Wang, Weinan E, Siheng Chen
cs.AI
Resumo
O paradigma da ciência agencial exige que sistemas de IA realizem raciocínio robusto e se envolvam em exploração autónoma de longo prazo. No entanto, os atuais benchmarks científicos permanecem confinados à compreensão de conhecimento de domínio e ao raciocínio complexo, falhando em avaliar a natureza exploratória e a complexidade processual da investigação do mundo real. Neste trabalho, apresentamos avaliações orientadas para a investigação em física teórica e computacional, um campo de teste natural com conhecimento de domínio abrangente, raciocínio complexo e fluxos de trabalho verificáveis de ponta a ponta, sem dependência de experiências laboratoriais. Apresentamos o PRL-Bench (Physics Research by LLMs), um benchmark concebido para mapear sistematicamente os limites de capacidade dos LLMs na execução de investigação física de ponta a ponta. Construído a partir de 100 artigos selecionados das edições mais recentes da Physical Review Letters desde agosto de 2025 e validado por especialistas de domínio, o PRL-Bench abrange cinco subáreas principais da física moderna intensivas em teoria e computação: astrofísica, física da matéria condensada, física de altas energias, informação quântica e física estatística. Cada tarefa no benchmark foi concebida para replicar as propriedades centrais da investigação científica autêntica, incluindo formulação orientada para a exploração, fluxos de trabalho de longo prazo e verificabilidade objetiva, reconstruindo assim os processos de raciocínio essenciais e os fluxos de trabalho de investigação da física real. A avaliação em modelos de fronteira mostra que o desempenho permanece limitado, com a melhor pontuação geral abaixo de 50, revelando uma lacuna pronunciada entre as capacidades atuais dos LLMs e as exigências da investigação científica real. O PRL-Bench serve como um banco de testes fiável para avaliar a próxima geração de cientistas de IA, avançando os sistemas de IA em direção à descoberta científica autónoma.
English
The paradigm of agentic science requires AI systems to conduct robust reasoning and engage in long-horizon, autonomous exploration. However, current scientific benchmarks remain confined to domain knowledge comprehension and complex reasoning, failing to evaluate the exploratory nature and procedural complexity of real-world research. In this work, we present research-oriented evaluations in theoretical and computational physics, a natural testbed with comprehensive domain knowledge, complex reasoning, and verifiable end-to-end workflows without reliance on experiments. Here we introduce PRL-Bench (Physics Research by LLMs), a benchmark designed to systematically map the capability boundaries of LLMs in executing end-to-end physics research. Constructed from 100 curated papers from the latest issues of Physical Review Letters since August 2025 and validated by domain experts, PRL-Bench covers five major theory- and computation-intensive subfields of modern physics: astrophysics, condensed matter physics, high-energy physics, quantum information, and statistical physics. Each task in the benchmark is designed to replicate the core properties of authentic scientific research, including exploration-oriented formulation, long-horizon workflows, and objective verifiability, thereby reconstructing the essential reasoning processes and research workflows of real physics research. Evaluation across frontier models shows that performance remains limited, with the best overall score below 50, revealing a pronounced gap between current LLM capabilities and the demands of real scientific research. PRL-Bench serves a reliable testbed for accessing next generation AI scientists advancing AI systems toward autonomous scientific discovery.