추론 확장, 통제 상실: 대규모 추론 모델의 명령어 수행 능력 평가

Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models

May 20, 2025

저자: Tingchen Fu, Jiawei Gu, Yafu Li, Xiaoye Qu, Yu Cheng

cs.AI

초록

명령어 준수는 대규모 언어 모델(LLM)을 사용자 의도에 맞추는 데 필수적입니다. 최근 추론 중심 모델들이 복잡한 수학 문제에서 인상적인 성능을 보여주고 있지만, 자연어 명령어를 따르는 능력은 아직 충분히 탐구되지 않았습니다. 본 연구에서는 수학적 추론 과제에서의 명령어 준수를 평가하기 위한 전용 벤치마크인 MathIF를 소개합니다. 우리의 실증적 분석은 추론 능력을 확장하는 것과 제어 가능성을 유지하는 것 사이의 지속적인 긴장을 보여주며, 더 효과적으로 추론하는 모델들이 사용자 지시를 따르는 데 어려움을 겪는 경향이 있음을 밝혔습니다. 우리는 정제된 긴 사고 사슬(chain-of-thought)로 튜닝되거나 추론 중심 강화 학습으로 훈련된 모델들이 특히 생성 길이가 증가할 때 명령어 준수 능력이 저하되는 것을 발견했습니다. 더 나아가, 간단한 개입만으로도 순응도를 부분적으로 회복할 수 있지만, 이는 추론 성능의 희생을 대가로 한다는 것을 보여줍니다. 이러한 발견들은 현재 LLM 훈련 패러다임의 근본적인 긴장을 강조하며, 더 많은 명령어 인식 추론 모델의 필요성을 촉구합니다. 코드와 데이터는 https://github.com/TingchenFu/MathIF에서 공개합니다.

English

Instruction-following is essential for aligning large language models (LLMs) with user intent. While recent reasoning-oriented models exhibit impressive performance on complex mathematical problems, their ability to adhere to natural language instructions remains underexplored. In this work, we introduce MathIF, a dedicated benchmark for evaluating instruction-following in mathematical reasoning tasks. Our empirical analysis reveals a consistent tension between scaling up reasoning capacity and maintaining controllability, as models that reason more effectively often struggle to comply with user directives. We find that models tuned on distilled long chains-of-thought or trained with reasoning-oriented reinforcement learning often degrade in instruction adherence, especially when generation length increases. Furthermore, we show that even simple interventions can partially recover obedience, though at the cost of reasoning performance. These findings highlight a fundamental tension in current LLM training paradigms and motivate the need for more instruction-aware reasoning models. We release the code and data at https://github.com/TingchenFu/MathIF.