Het Ontrafelen van Wetenschappelijk Probleemoplossen in LLM's door Kennis en Redeneren te Onderzoeken

Demystifying Scientific Problem-Solving in LLMs by Probing Knowledge and Reasoning

August 26, 2025

Auteurs: Alan Li, Yixin Liu, Arpan Sarkar, Doug Downey, Arman Cohan

cs.AI

Samenvatting

Wetenschappelijk probleemoplossing stelt unieke uitdagingen voor LLM's, waarbij zowel diepgaande domeinkennis als het vermogen om deze kennis toe te passen via complexe redenering vereist is. Hoewel geautomatiseerde wetenschappelijke redeneerders veelbelovend zijn voor het assisteren van menselijke wetenschappers, is er momenteel geen breed geaccepteerde holistische benchmark voor het evalueren van wetenschappelijk redeneren, en zijn er weinig benaderingen die systematisch de verschillende rollen van kennis en redenering in deze taken ontwarren. Om deze lacunes aan te pakken, introduceren we SciReas, een diverse verzameling van bestaande benchmarks voor wetenschappelijke redeneertaken, en SciReas-Pro, een selectieve subset die complexere redenering vereist. Onze holistische evaluatie brengt inzichten naar voren over wetenschappelijk redeneerprestaties die verborgen blijven wanneer men alleen op individuele benchmarks vertrouwt. Vervolgens stellen we KRUX voor, een onderzoeksraamwerk voor het bestuderen van de verschillende rollen van redenering en kennis in wetenschappelijke taken. Door deze twee te combineren, voeren we een diepgaande analyse uit die verschillende belangrijke bevindingen oplevert: (1) Het ophalen van taakrelevante kennis uit modelparameters is een kritieke bottleneck voor LLM's in wetenschappelijk redeneren; (2) Redeneermodellen profiteren consistent van externe kennis die in-context wordt toegevoegd bovenop de redeneerverbetering; (3) Het verbeteren van verbaal uitgedrukte redenering versterkt het vermogen van LLM's om taakrelevante kennis naar voren te brengen. Ten slotte voeren we een lichtgewicht analyse uit, waarbij we onze wetenschapsgerichte datacompositie vergelijken met gelijktijdige inspanningen op het gebied van lange CoT SFT, en geven we SciLit01 vrij, een sterke 8B-basislijn voor wetenschappelijk redeneren.

English

Scientific problem solving poses unique challenges for LLMs, requiring both deep domain knowledge and the ability to apply such knowledge through complex reasoning. While automated scientific reasoners hold great promise for assisting human scientists, there is currently no widely adopted holistic benchmark for evaluating scientific reasoning, and few approaches systematically disentangle the distinct roles of knowledge and reasoning in these tasks. To address these gaps, we introduce SciReas, a diverse suite of existing benchmarks for scientific reasoning tasks, and SciReas-Pro, a selective subset that requires more complex reasoning. Our holistic evaluation surfaces insights about scientific reasoning performance that remain hidden when relying on individual benchmarks alone. We then propose KRUX, a probing framework for studying the distinct roles of reasoning and knowledge in scientific tasks. Combining the two, we conduct an in-depth analysis that yields several key findings: (1) Retrieving task-relevant knowledge from model parameters is a critical bottleneck for LLMs in scientific reasoning; (2) Reasoning models consistently benefit from external knowledge added in-context on top of the reasoning enhancement; (3) Enhancing verbalized reasoning improves LLMs' ability to surface task-relevant knowledge. Finally, we conduct a lightweight analysis, comparing our science-focused data composition with concurrent efforts on long CoT SFT, and release SciLit01, a strong 8B baseline for scientific reasoning.