PRL-Bench: Un Benchmark Completo per Valutare le Capacità degli LLM nella Ricerca di Fisica d'Avanguardia
PRL-Bench: A Comprehensive Benchmark Evaluating LLMs' Capabilities in Frontier Physics Research
April 16, 2026
Autori: Tingjia Miao, Wenkai Jin, Muhua Zhang, Jinxin Tan, Yuelin Hu, Tu Guo, Jiejun Zhang, Yuhan Wang, Wenbo Li, Yinuo Gao, Shuo Chen, Weiqi Jiang, Yayun Hu, Zixing Lei, Xianghe Pang, Zexi Liu, Yuzhi Zhang, Linfeng Zhang, Kun Chen, Wei Wang, Weinan E, Siheng Chen
cs.AI
Abstract
Il paradigma della scienza agentiva richiede che i sistemi di IA svolgano ragionamenti robusti e si impegnino in esplorazioni autonome a lungo termine. Tuttavia, gli attuali benchmark scientifici rimangono confinati alla comprensione della conoscenza di dominio e al ragionamento complesso, non riuscendo a valutare la natura esplorativa e la complessità procedurale della ricerca nel mondo reale. In questo lavoro, presentiamo valutazioni orientate alla ricerca in fisica teorica e computazionale, un banco di prova naturale con conoscenza di dominio completa, ragionamento complesso e workflow end-to-end verificabili senza dipendere da esperimenti. Introduciamo qui PRL-Bench (Physics Research by LLMs), un benchmark progettato per mappare sistematicamente i limiti delle capacità degli LLM nell'eseguire ricerca fisica end-to-end. Costruito a partire da 100 articoli selezionati dai numeri più recenti di Physical Review Letters dall'agosto 2025 e validato da esperti di dominio, PRL-Bench copre cinque principali sottocampi della fisica moderna ad alta intensità teorica e computazionale: astrofisica, fisica della materia condensata, fisica delle alte energie, informatica quantistica e fisica statistica. Ogni task nel benchmark è progettato per replicare le proprietà fondamentali della ricerca scientifica autentica, inclusa la formulazione orientata all'esplorazione, workflow a lungo termine e la verificabilità oggettiva, ricostruendo così i processi di ragionamento essenziali e i flussi di lavoro della ricerca fisica reale. La valutazione su modelli all'avanguardia mostra che le prestazioni rimangono limitate, con il punteggio complessivo migliore inferiore a 50, rivelando un divario marcato tra le capacità attuali degli LLM e le esigenze della ricerca scientifica reale. PRL-Bench funge da banco di prova affidabile per valutare la prossima generazione di scienziati IA, spingendo i sistemi di IA verso la scoperta scientifica autonoma.
English
The paradigm of agentic science requires AI systems to conduct robust reasoning and engage in long-horizon, autonomous exploration. However, current scientific benchmarks remain confined to domain knowledge comprehension and complex reasoning, failing to evaluate the exploratory nature and procedural complexity of real-world research. In this work, we present research-oriented evaluations in theoretical and computational physics, a natural testbed with comprehensive domain knowledge, complex reasoning, and verifiable end-to-end workflows without reliance on experiments. Here we introduce PRL-Bench (Physics Research by LLMs), a benchmark designed to systematically map the capability boundaries of LLMs in executing end-to-end physics research. Constructed from 100 curated papers from the latest issues of Physical Review Letters since August 2025 and validated by domain experts, PRL-Bench covers five major theory- and computation-intensive subfields of modern physics: astrophysics, condensed matter physics, high-energy physics, quantum information, and statistical physics. Each task in the benchmark is designed to replicate the core properties of authentic scientific research, including exploration-oriented formulation, long-horizon workflows, and objective verifiability, thereby reconstructing the essential reasoning processes and research workflows of real physics research. Evaluation across frontier models shows that performance remains limited, with the best overall score below 50, revealing a pronounced gap between current LLM capabilities and the demands of real scientific research. PRL-Bench serves a reliable testbed for accessing next generation AI scientists advancing AI systems toward autonomous scientific discovery.