Quand le raisonnement compte-t-il ? Une étude contrôlée sur la contribution du raisonnement à la performance des modèles

When Does Reasoning Matter? A Controlled Study of Reasoning's Contribution to Model Performance

September 26, 2025

papers.authors: Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Kevin El-Haddad, Céline Hudelot, Pierre Colombo

cs.AI

papers.abstract

Les modèles de langage de grande taille (LLMs) dotés de capacités de raisonnement ont atteint des performances de pointe sur un large éventail de tâches. Malgré leur succès empirique, les tâches et les échelles de modèles pour lesquelles le raisonnement devient efficace, ainsi que les coûts d’entraînement et d’inférence, restent insuffisamment explorés. Dans ce travail, nous nous appuyons sur un cadre de distillation de données synthétiques pour mener une étude supervisée à grande échelle. Nous comparons le réglage fin par instruction (Instruction Fine-Tuning, IFT) et les modèles de raisonnement de tailles variées, sur un large éventail de tâches centrées sur les mathématiques et à usage général, en évaluant à la fois les formats à choix multiples et à réponse ouverte. Notre analyse révèle que le raisonnement améliore systématiquement les performances des modèles, atteignant souvent ou dépassant celles de systèmes IFT significativement plus grands. Notamment, bien que l’IFT reste Pareto-optimal en termes de coûts d’entraînement et d’inférence, les modèles de raisonnement deviennent de plus en plus précieux à mesure que la taille des modèles augmente, surpassant les limites de performance de l’IFT sur les tâches intensives en raisonnement et à réponse ouverte.

English

Large Language Models (LLMs) with reasoning capabilities have achieved state-of-the-art performance on a wide range of tasks. Despite its empirical success, the tasks and model scales at which reasoning becomes effective, as well as its training and inference costs, remain underexplored. In this work, we rely on a synthetic data distillation framework to conduct a large-scale supervised study. We compare Instruction Fine-Tuning (IFT) and reasoning models of varying sizes, on a wide range of math-centric and general-purpose tasks, evaluating both multiple-choice and open-ended formats. Our analysis reveals that reasoning consistently improves model performance, often matching or surpassing significantly larger IFT systems. Notably, while IFT remains Pareto-optimal in training and inference costs, reasoning models become increasingly valuable as model size scales, overcoming IFT performance limits on reasoning-intensive and open-ended tasks.