Démystification de la résolution de problèmes scientifiques dans les LLM par l'exploration des connaissances et du raisonnement
Demystifying Scientific Problem-Solving in LLMs by Probing Knowledge and Reasoning
August 26, 2025
papers.authors: Alan Li, Yixin Liu, Arpan Sarkar, Doug Downey, Arman Cohan
cs.AI
papers.abstract
La résolution de problèmes scientifiques présente des défis uniques pour les LLMs, nécessitant à la fois une connaissance approfondie du domaine et la capacité d'appliquer cette connaissance à travers un raisonnement complexe. Bien que les raisonneurs scientifiques automatisés offrent un grand potentiel pour assister les scientifiques humains, il n'existe actuellement aucun benchmark holistique largement adopté pour évaluer le raisonnement scientifique, et peu d'approches dissocient systématiquement les rôles distincts de la connaissance et du raisonnement dans ces tâches. Pour combler ces lacunes, nous introduisons SciReas, une suite diversifiée de benchmarks existants pour les tâches de raisonnement scientifique, et SciReas-Pro, un sous-ensemble sélectif qui nécessite un raisonnement plus complexe. Notre évaluation holistique révèle des insights sur la performance en raisonnement scientifique qui restent cachés lorsqu'on s'appuie uniquement sur des benchmarks individuels. Nous proposons ensuite KRUX, un cadre de sondage pour étudier les rôles distincts du raisonnement et de la connaissance dans les tâches scientifiques. En combinant les deux, nous menons une analyse approfondie qui aboutit à plusieurs conclusions clés : (1) La récupération de connaissances pertinentes pour la tâche à partir des paramètres du modèle constitue un goulot d'étranglement critique pour les LLMs dans le raisonnement scientifique ; (2) Les modèles de raisonnement bénéficient systématiquement de connaissances externes ajoutées en contexte, en plus de l'amélioration du raisonnement ; (3) L'amélioration du raisonnement verbalisé accroît la capacité des LLMs à mettre en lumière les connaissances pertinentes pour la tâche. Enfin, nous menons une analyse légère, comparant notre composition de données axée sur la science avec les efforts concurrents sur le long CoT SFT, et publions SciLit01, une base de référence solide de 8B pour le raisonnement scientifique.
English
Scientific problem solving poses unique challenges for LLMs, requiring both
deep domain knowledge and the ability to apply such knowledge through complex
reasoning. While automated scientific reasoners hold great promise for
assisting human scientists, there is currently no widely adopted holistic
benchmark for evaluating scientific reasoning, and few approaches
systematically disentangle the distinct roles of knowledge and reasoning in
these tasks. To address these gaps, we introduce SciReas, a diverse suite of
existing benchmarks for scientific reasoning tasks, and SciReas-Pro, a
selective subset that requires more complex reasoning. Our holistic evaluation
surfaces insights about scientific reasoning performance that remain hidden
when relying on individual benchmarks alone. We then propose KRUX, a probing
framework for studying the distinct roles of reasoning and knowledge in
scientific tasks. Combining the two, we conduct an in-depth analysis that
yields several key findings: (1) Retrieving task-relevant knowledge from model
parameters is a critical bottleneck for LLMs in scientific reasoning; (2)
Reasoning models consistently benefit from external knowledge added in-context
on top of the reasoning enhancement; (3) Enhancing verbalized reasoning
improves LLMs' ability to surface task-relevant knowledge. Finally, we conduct
a lightweight analysis, comparing our science-focused data composition with
concurrent efforts on long CoT SFT, and release SciLit01, a strong 8B baseline
for scientific reasoning.