スケーリングする推論、失われる制御：大規模推論モデルにおける指示追従の評価

Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models

May 20, 2025

著者: Tingchen Fu, Jiawei Gu, Yafu Li, Xiaoye Qu, Yu Cheng

cs.AI

要旨

指示追従は、大規模言語モデル（LLM）をユーザーの意図に合わせるために不可欠です。最近の推論指向モデルは複雑な数学的問題において印象的な性能を示していますが、自然言語の指示に従う能力についてはまだ十分に検証されていません。本研究では、数学的推論タスクにおける指示追従を評価するための専用ベンチマークであるMathIFを紹介します。私たちの実証分析から、推論能力をスケールアップすることと制御性を維持することの間に一貫した緊張関係があることが明らかになりました。より効果的に推論するモデルは、ユーザーの指示に従うことが困難になる傾向があります。蒸留された長い連鎖的思考（chain-of-thought）でチューニングされたモデルや、推論指向の強化学習で訓練されたモデルは、特に生成長が増加する場合に、指示追従の性能が低下することがわかりました。さらに、単純な介入でも部分的に従順性を回復できることを示しますが、それは推論性能の低下を伴います。これらの発見は、現在のLLM訓練パラダイムにおける根本的な緊張関係を浮き彫りにし、より指示を意識した推論モデルの必要性を動機付けます。コードとデータはhttps://github.com/TingchenFu/MathIFで公開しています。

English

Instruction-following is essential for aligning large language models (LLMs) with user intent. While recent reasoning-oriented models exhibit impressive performance on complex mathematical problems, their ability to adhere to natural language instructions remains underexplored. In this work, we introduce MathIF, a dedicated benchmark for evaluating instruction-following in mathematical reasoning tasks. Our empirical analysis reveals a consistent tension between scaling up reasoning capacity and maintaining controllability, as models that reason more effectively often struggle to comply with user directives. We find that models tuned on distilled long chains-of-thought or trained with reasoning-oriented reinforcement learning often degrade in instruction adherence, especially when generation length increases. Furthermore, we show that even simple interventions can partially recover obedience, though at the cost of reasoning performance. These findings highlight a fundamental tension in current LLM training paradigms and motivate the need for more instruction-aware reasoning models. We release the code and data at https://github.com/TingchenFu/MathIF.