Разгадывая тайны научного решения задач в больших языковых моделях через исследование знаний и рассуждений

Demystifying Scientific Problem-Solving in LLMs by Probing Knowledge and Reasoning

August 26, 2025

Авторы: Alan Li, Yixin Liu, Arpan Sarkar, Doug Downey, Arman Cohan

cs.AI

Аннотация

Решение научных задач представляет уникальные вызовы для крупных языковых моделей (LLM), требуя как глубоких знаний в предметной области, так и способности применять эти знания через сложные рассуждения. Хотя автоматизированные научные системы рассуждений обещают значительную помощь ученым, в настоящее время не существует широко принятого комплексного эталона для оценки научного мышления, и лишь немногие подходы систематически разделяют роли знаний и рассуждений в этих задачах. Для устранения этих пробелов мы представляем SciReas — разнообразный набор существующих эталонов для задач научного рассуждения, и SciReas-Pro — избирательное подмножество, требующее более сложных рассуждений. Наша комплексная оценка выявляет аспекты производительности в научных рассуждениях, которые остаются скрытыми при использовании отдельных эталонов. Затем мы предлагаем KRUX — фреймворк для изучения отдельных ролей рассуждений и знаний в научных задачах. Объединяя эти два подхода, мы проводим углубленный анализ, который приводит к нескольким ключевым выводам: (1) Извлечение релевантных для задачи знаний из параметров модели является критическим узким местом для LLM в научных рассуждениях; (2) Модели рассуждений последовательно выигрывают от добавления внешних знаний в контекст поверх улучшения рассуждений; (3) Улучшение вербализованных рассуждений повышает способность LLM выявлять релевантные для задачи знания. Наконец, мы проводим облегченный анализ, сравнивая нашу научно-ориентированную композицию данных с параллельными усилиями по длинному CoT SFT, и выпускаем SciLit01 — сильный базовый 8B-модель для научных рассуждений.

English

Scientific problem solving poses unique challenges for LLMs, requiring both deep domain knowledge and the ability to apply such knowledge through complex reasoning. While automated scientific reasoners hold great promise for assisting human scientists, there is currently no widely adopted holistic benchmark for evaluating scientific reasoning, and few approaches systematically disentangle the distinct roles of knowledge and reasoning in these tasks. To address these gaps, we introduce SciReas, a diverse suite of existing benchmarks for scientific reasoning tasks, and SciReas-Pro, a selective subset that requires more complex reasoning. Our holistic evaluation surfaces insights about scientific reasoning performance that remain hidden when relying on individual benchmarks alone. We then propose KRUX, a probing framework for studying the distinct roles of reasoning and knowledge in scientific tasks. Combining the two, we conduct an in-depth analysis that yields several key findings: (1) Retrieving task-relevant knowledge from model parameters is a critical bottleneck for LLMs in scientific reasoning; (2) Reasoning models consistently benefit from external knowledge added in-context on top of the reasoning enhancement; (3) Enhancing verbalized reasoning improves LLMs' ability to surface task-relevant knowledge. Finally, we conduct a lightweight analysis, comparing our science-focused data composition with concurrent efforts on long CoT SFT, and release SciLit01, a strong 8B baseline for scientific reasoning.