Wanneer is Redeneren Belangrijk? Een Gecontroleerde Studie naar de Bijdrage van Redeneren aan Modelprestaties

When Does Reasoning Matter? A Controlled Study of Reasoning's Contribution to Model Performance

September 26, 2025

Auteurs: Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Kevin El-Haddad, Céline Hudelot, Pierre Colombo

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) met redeneervermogen hebben state-of-the-art prestaties behaald op een breed scala aan taken. Ondanks het empirische succes blijven de taken en modelschalen waarop redeneren effectief wordt, evenals de trainings- en inferentiekosten, onderbelicht. In dit werk vertrouwen we op een raamwerk voor synthetische datadistillatie om een grootschalige, begeleide studie uit te voeren. We vergelijken Instructie Fine-Tuning (IFT) en redeneermodellen van verschillende groottes op een breed scala aan wiskundige en algemene taken, waarbij we zowel meerkeuze- als open-eindformats evalueren. Onze analyse toont aan dat redeneren de modelprestaties consistent verbetert, vaak evenaart of zelfs overtreft aanzienlijk grotere IFT-systemen. Opmerkelijk is dat, hoewel IFT Pareto-optimaal blijft wat betreft trainings- en inferentiekosten, redeneermodellen steeds waardevoller worden naarmate de modelschaal toeneemt, waardoor ze de prestatiegrenzen van IFT overstijgen op redeneringsintensieve en open-eindtaken.

English

Large Language Models (LLMs) with reasoning capabilities have achieved state-of-the-art performance on a wide range of tasks. Despite its empirical success, the tasks and model scales at which reasoning becomes effective, as well as its training and inference costs, remain underexplored. In this work, we rely on a synthetic data distillation framework to conduct a large-scale supervised study. We compare Instruction Fine-Tuning (IFT) and reasoning models of varying sizes, on a wide range of math-centric and general-purpose tasks, evaluating both multiple-choice and open-ended formats. Our analysis reveals that reasoning consistently improves model performance, often matching or surpassing significantly larger IFT systems. Notably, while IFT remains Pareto-optimal in training and inference costs, reasoning models become increasingly valuable as model size scales, overcoming IFT performance limits on reasoning-intensive and open-ended tasks.