Wann spielt logisches Denken eine Rolle? Eine kontrollierte Studie zum Beitrag des logischen Denkens zur Modellleistung

When Does Reasoning Matter? A Controlled Study of Reasoning's Contribution to Model Performance

September 26, 2025

papers.authors: Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Kevin El-Haddad, Céline Hudelot, Pierre Colombo

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) mit Fähigkeiten zur logischen Schlussfolgerung haben Spitzenleistungen in einer Vielzahl von Aufgaben erzielt. Trotz ihres empirischen Erfolgs sind die Aufgaben und Modellgrößen, bei denen logisches Schlussfolgern effektiv wird, sowie die damit verbundenen Trainings- und Inferenzkosten noch unzureichend erforscht. In dieser Arbeit stützen wir uns auf ein Framework zur synthetischen Datendestillation, um eine groß angelegte überwachte Studie durchzuführen. Wir vergleichen Instruction Fine-Tuning (IFT) und Modelle mit logischem Schlussfolgern unterschiedlicher Größen auf einer breiten Palette von mathematisch orientierten und allgemeinen Aufgaben, wobei sowohl Multiple-Choice- als auch offene Antwortformate bewertet werden. Unsere Analyse zeigt, dass logisches Schlussfolgern die Modellleistung konsequent verbessert und oft mit deutlich größeren IFT-Systemen gleichzieht oder diese übertrifft. Bemerkenswerterweise bleibt IFT zwar Pareto-optimal in Bezug auf Trainings- und Inferenzkosten, doch Modelle mit logischem Schlussfolgern werden mit zunehmender Modellgröße immer wertvoller, da sie die Leistungsgrenzen von IFT bei schlussfolgerungsintensiven und offenen Aufgaben überwinden.

English

Large Language Models (LLMs) with reasoning capabilities have achieved state-of-the-art performance on a wide range of tasks. Despite its empirical success, the tasks and model scales at which reasoning becomes effective, as well as its training and inference costs, remain underexplored. In this work, we rely on a synthetic data distillation framework to conduct a large-scale supervised study. We compare Instruction Fine-Tuning (IFT) and reasoning models of varying sizes, on a wide range of math-centric and general-purpose tasks, evaluating both multiple-choice and open-ended formats. Our analysis reveals that reasoning consistently improves model performance, often matching or surpassing significantly larger IFT systems. Notably, while IFT remains Pareto-optimal in training and inference costs, reasoning models become increasingly valuable as model size scales, overcoming IFT performance limits on reasoning-intensive and open-ended tasks.