Desmistificando a Resolução de Problemas Científicos em LLMs por meio da Investigação de Conhecimento e Raciocínio

Demystifying Scientific Problem-Solving in LLMs by Probing Knowledge and Reasoning

August 26, 2025

Autores: Alan Li, Yixin Liu, Arpan Sarkar, Doug Downey, Arman Cohan

cs.AI

Resumo

A resolução de problemas científicos apresenta desafios únicos para LLMs, exigindo tanto conhecimento profundo do domínio quanto a capacidade de aplicar esse conhecimento por meio de raciocínio complexo. Embora os sistemas automatizados de raciocínio científico tenham grande potencial para auxiliar cientistas humanos, atualmente não há um benchmark holístico amplamente adotado para avaliar o raciocínio científico, e poucas abordagens separam sistematicamente os papéis distintos do conhecimento e do raciocínio nessas tarefas. Para preencher essas lacunas, introduzimos o SciReas, um conjunto diversificado de benchmarks existentes para tarefas de raciocínio científico, e o SciReas-Pro, um subconjunto seletivo que exige raciocínio mais complexo. Nossa avaliação holística revela insights sobre o desempenho do raciocínio científico que permanecem ocultos ao depender apenas de benchmarks individuais. Em seguida, propomos o KRUX, uma estrutura de sondagem para estudar os papéis distintos do raciocínio e do conhecimento em tarefas científicas. Combinando os dois, realizamos uma análise aprofundada que resulta em várias descobertas-chave: (1) Recuperar conhecimento relevante para a tarefa a partir dos parâmetros do modelo é um gargalo crítico para LLMs no raciocínio científico; (2) Modelos de raciocínio consistentemente se beneficiam de conhecimento externo adicionado em contexto, além do aprimoramento do raciocínio; (3) Melhorar o raciocínio verbalizado aumenta a capacidade dos LLMs de destacar conhecimento relevante para a tarefa. Por fim, realizamos uma análise leve, comparando nossa composição de dados focada em ciência com esforços contemporâneos em SFT de CoT longo, e lançamos o SciLit01, uma forte baseline de 8B para raciocínio científico.

English

Scientific problem solving poses unique challenges for LLMs, requiring both deep domain knowledge and the ability to apply such knowledge through complex reasoning. While automated scientific reasoners hold great promise for assisting human scientists, there is currently no widely adopted holistic benchmark for evaluating scientific reasoning, and few approaches systematically disentangle the distinct roles of knowledge and reasoning in these tasks. To address these gaps, we introduce SciReas, a diverse suite of existing benchmarks for scientific reasoning tasks, and SciReas-Pro, a selective subset that requires more complex reasoning. Our holistic evaluation surfaces insights about scientific reasoning performance that remain hidden when relying on individual benchmarks alone. We then propose KRUX, a probing framework for studying the distinct roles of reasoning and knowledge in scientific tasks. Combining the two, we conduct an in-depth analysis that yields several key findings: (1) Retrieving task-relevant knowledge from model parameters is a critical bottleneck for LLMs in scientific reasoning; (2) Reasoning models consistently benefit from external knowledge added in-context on top of the reasoning enhancement; (3) Enhancing verbalized reasoning improves LLMs' ability to surface task-relevant knowledge. Finally, we conduct a lightweight analysis, comparing our science-focused data composition with concurrent efforts on long CoT SFT, and release SciLit01, a strong 8B baseline for scientific reasoning.