PRL-Bench: Een Uitgebreide Benchmark voor het Evalueren van de Capaciteiten van LLM's in Grensverleggend Natuurkundig Onderzoek

Samenvatting

Het paradigma van agent-gebaseerde wetenschap vereist dat AI-systemen robuuste redeneervaardigheden bezitten en in staat zijn tot langetermijn, autonome exploratie. Huidige wetenschappelijke benchmarks beperken zich echter tot domeinkennisbegrip en complex redeneren, zonder de exploratieve aard en procedurele complexiteit van real-world onderzoek te evalueren. In dit werk presenteren we onderzoeksgerichte evaluaties in theoretische en computationele natuurkunde – een natuurlijke testomgeving met uitgebreide domeinkennis, complex redeneervermogen en verifieerbare end-to-end werkstromen die niet afhankelijk zijn van experimenten. Wij introduceren PRL-Bench (Physics Research by LLMs), een benchmark ontworpen om de grenzen van LLM-capaciteiten voor end-to-end natuurkundeonderzoek systematisch in kaart te brengen. Opgebouwd uit 100 gecureerde artikelen uit de nieuwste edities van Physical Review Letters sinds augustus 2025 en gevalideerd door domeinexperts, bestrijkt PRL-Bench vijf belangrijke theorie- en computation-intensieve subvelden van de moderne natuurkunde: astrofysica, gecondenseerde materie, hoge-energiefysica, kwantuminformatie en statistische fysica. Elke taak in de benchmark is ontworpen om de kernkenmerken van authentiek wetenschappelijk onderzoek na te bootsen, waaronder exploratiegerichte formulering, langetermijnwerkstromen en objectieve verifieerbaarheid, waardoor de essentiële redeneerprocessen en onderzoekswerkstromen van echt natuurkundeonderzoek worden gereconstrueerd. Evaluatie van frontier-modellen toont dat prestaties beperkt blijven, met de beste overall score onder de 50, wat een duidelijke kloof onthult tussen huidige LLM-capaciteiten en de eisen van echt wetenschappelijk onderzoek. PRL-Bench dient als betrouwbare testomgeving voor de ontwikkeling van AI-wetenschappers van de volgende generatie die AI-systemen richting autonome wetenschappelijke ontdekkingen vooruithelpen.

English

The paradigm of agentic science requires AI systems to conduct robust reasoning and engage in long-horizon, autonomous exploration. However, current scientific benchmarks remain confined to domain knowledge comprehension and complex reasoning, failing to evaluate the exploratory nature and procedural complexity of real-world research. In this work, we present research-oriented evaluations in theoretical and computational physics, a natural testbed with comprehensive domain knowledge, complex reasoning, and verifiable end-to-end workflows without reliance on experiments. Here we introduce PRL-Bench (Physics Research by LLMs), a benchmark designed to systematically map the capability boundaries of LLMs in executing end-to-end physics research. Constructed from 100 curated papers from the latest issues of Physical Review Letters since August 2025 and validated by domain experts, PRL-Bench covers five major theory- and computation-intensive subfields of modern physics: astrophysics, condensed matter physics, high-energy physics, quantum information, and statistical physics. Each task in the benchmark is designed to replicate the core properties of authentic scientific research, including exploration-oriented formulation, long-horizon workflows, and objective verifiability, thereby reconstructing the essential reasoning processes and research workflows of real physics research. Evaluation across frontier models shows that performance remains limited, with the best overall score below 50, revealing a pronounced gap between current LLM capabilities and the demands of real scientific research. PRL-Bench serves a reliable testbed for accessing next generation AI scientists advancing AI systems toward autonomous scientific discovery.

PRL-Bench: Een Uitgebreide Benchmark voor het Evalueren van de Capaciteiten van LLM's in Grensverleggend Natuurkundig Onderzoek

PRL-Bench: A Comprehensive Benchmark Evaluating LLMs' Capabilities in Frontier Physics Research

Samenvatting

Support