Масштабирование рассуждений, потеря контроля: оценка выполнения инструкций в крупных моделях рассуждений

Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models

May 20, 2025

Авторы: Tingchen Fu, Jiawei Gu, Yafu Li, Xiaoye Qu, Yu Cheng

cs.AI

Аннотация

Следование инструкциям имеет ключевое значение для согласования крупных языковых моделей (LLM) с намерениями пользователей. Хотя современные модели, ориентированные на рассуждения, демонстрируют впечатляющие результаты в решении сложных математических задач, их способность следовать инструкциям на естественном языке остается недостаточно изученной. В данной работе мы представляем MathIF — специализированный бенчмарк для оценки следования инструкциям в задачах математического рассуждения. Наш эмпирический анализ выявляет устойчивое противоречие между увеличением способности к рассуждению и сохранением управляемости: модели, которые рассуждают более эффективно, часто испытывают трудности с выполнением пользовательских указаний. Мы обнаруживаем, что модели, настроенные на дистиллированные длинные цепочки рассуждений или обученные с использованием подкрепления, ориентированного на рассуждения, часто демонстрируют ухудшение в следовании инструкциям, особенно при увеличении длины генерируемого текста. Кроме того, мы показываем, что даже простые вмешательства могут частично восстановить послушание, хотя и за счет снижения качества рассуждений. Эти результаты подчеркивают фундаментальное противоречие в современных подходах к обучению LLM и обосновывают необходимость создания моделей, более чувствительных к инструкциям. Мы публикуем код и данные по адресу https://github.com/TingchenFu/MathIF.

English

Instruction-following is essential for aligning large language models (LLMs) with user intent. While recent reasoning-oriented models exhibit impressive performance on complex mathematical problems, their ability to adhere to natural language instructions remains underexplored. In this work, we introduce MathIF, a dedicated benchmark for evaluating instruction-following in mathematical reasoning tasks. Our empirical analysis reveals a consistent tension between scaling up reasoning capacity and maintaining controllability, as models that reason more effectively often struggle to comply with user directives. We find that models tuned on distilled long chains-of-thought or trained with reasoning-oriented reinforcement learning often degrade in instruction adherence, especially when generation length increases. Furthermore, we show that even simple interventions can partially recover obedience, though at the cost of reasoning performance. These findings highlight a fundamental tension in current LLM training paradigms and motivate the need for more instruction-aware reasoning models. We release the code and data at https://github.com/TingchenFu/MathIF.