Diepgaand Onderzoek in Natuurwetenschappen: Een Multi-Agent Framework en Uitgebreide Benchmark

Samenvatting

Diepgaande onderzoeksagenten zijn systemen gebaseerd op grote taalmodellen (Large Language Models, LLM's), ontworpen voor autonome, meerstaps wetenschappelijke redeneringen. Ze hebben een enorm potentieel om onderzoek in de exacte wetenschappen te versnellen. Er ontbreekt echter nog steeds een uitgebreide en diepgaande evaluatie van hun capaciteiten op dit gebied. Om deze leemte aan te vullen, introduceren we PhySciBench, een benchmark die zeer relevant is voor onderzoek in de exacte wetenschappen. Deze omvat 200 door experts samengestelde vragen, evenwichtig verdeeld over natuurkunde en scheikunde, in zes taakcategorieën die de werkwijze in de echte wetenschap weerspiegelen. Evaluaties van geavanceerde modellen en agentsystemen op PhySciBench laten een beperkte prestatie zien; zelfs de sterkste basislijn, Gemini Deep Research, behaalt slechts een nauwkeurigheid van 33,5%. Analyse van mislukte gevallen identificeert drie terugkerende tekortkomingen: kwetsbaarheid in uitgebreide redeneerketens, beperkte kennisoverdracht tussen stappen en een gebrek aan natuurkundig onderbouwde zelfverificatie. Gemotiveerd door deze bevindingen ontwikkelen we DelveAgent, een modulair multi-agent raamwerk uitgerust met een adaptieve planningslus, duale granulariteit geheugen en een hiërarchisch, natuurkundig onderbouwd reflectiemechanisme. Over vier wetenschappelijke benchmarks verbetert DelveAgent de nauwkeurigheid met maximaal 7,5 procentpunten, terwijl de inferentiekosten worden teruggebracht tot ongeveer een derde van de sterkste basislijn. Deze resultaten vestigen het belang van PhySciBench als een cruciale benchmark voor het evalueren van AI-systemen in de exacte wetenschappen en tonen aan dat architectonische specialisatie de betrouwbaarheid van autonoom wetenschappelijk onderzoek effectief kan verbeteren.

English

Deep research agents are Large Language Model (LLM)-based systems designed for autonomous, multi-step scientific reasoning, and they hold immense potential for accelerating research in the physical sciences. However, comprehensive and in-depth evaluations of their capabilities within this domain remain lacking. To address this gap, we introduce PhySciBench, a benchmark highly relevant to physical science research, comprising 200 expert-curated questions, balanced between physics and chemistry, across six task categories that reflect real-world scientific workflows. Evaluations of state-of-the-art models and agent systems on PhySciBench reveal limited performance; even the strongest baseline, Gemini Deep Research, achieves an accuracy of only 33.5%. Analysis of failure cases identifies three recurrent deficiencies: fragility in extended reasoning chains, limited knowledge transfer across steps, and a lack of physics-grounded self-verification. Motivated by these findings, we develop DelveAgent, a modular multi-agent framework equipped with an adaptive planning loop, dual-granularity memory, and a hierarchical physics-grounded reflection mechanism. Across four scientific benchmarks, DelveAgent improves accuracy by up to 7.5 percentage points while reducing inference costs to approximately one-third of the strongest baseline. These results establish the significance of PhySciBench as a critical benchmark for evaluating AI systems in the physical sciences and demonstrate that architectural specialization can effectively enhance the reliability of autonomous scientific research.