Когда рассуждения имеют значение? Контролируемое исследование вклада рассуждений в производительность модели

When Does Reasoning Matter? A Controlled Study of Reasoning's Contribution to Model Performance

September 26, 2025

Авторы: Nicolas Boizard, Hippolyte Gisserot-Boukhlef, Kevin El-Haddad, Céline Hudelot, Pierre Colombo

cs.AI

Аннотация

Крупные языковые модели (LLM) с возможностями логического вывода демонстрируют наилучшие результаты в широком спектре задач. Несмотря на их эмпирический успех, вопросы о том, на каких задачах и масштабах моделей логический вывод становится эффективным, а также о затратах на обучение и вывод, остаются недостаточно изученными. В данной работе мы используем фреймворк синтетической дистилляции данных для проведения масштабного контролируемого исследования. Мы сравниваем модели с тонкой настройкой на инструкциях (Instruction Fine-Tuning, IFT) и модели с логическим выводом различных размеров на широком спектре математических и универсальных задач, оценивая как задачи с множественным выбором, так и открытые форматы. Наш анализ показывает, что логический вывод последовательно улучшает производительность модели, часто достигая или превосходя результаты значительно более крупных IFT-систем. Примечательно, что хотя IFT остается Парето-оптимальным с точки зрения затрат на обучение и вывод, модели с логическим выводом становятся все более ценными с увеличением размера модели, преодолевая ограничения производительности IFT на задачах, требующих интенсивного логического вывода и открытых задач.

English

Large Language Models (LLMs) with reasoning capabilities have achieved state-of-the-art performance on a wide range of tasks. Despite its empirical success, the tasks and model scales at which reasoning becomes effective, as well as its training and inference costs, remain underexplored. In this work, we rely on a synthetic data distillation framework to conduct a large-scale supervised study. We compare Instruction Fine-Tuning (IFT) and reasoning models of varying sizes, on a wide range of math-centric and general-purpose tasks, evaluating both multiple-choice and open-ended formats. Our analysis reveals that reasoning consistently improves model performance, often matching or surpassing significantly larger IFT systems. Notably, while IFT remains Pareto-optimal in training and inference costs, reasoning models become increasingly valuable as model size scales, overcoming IFT performance limits on reasoning-intensive and open-ended tasks.