Scalabilità del Ragionamento, Perdita di Controllo: Valutazione del Rispetto delle Istruzioni nei Modelli di Ragionamento su Grande Scala

Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models

May 20, 2025

Autori: Tingchen Fu, Jiawei Gu, Yafu Li, Xiaoye Qu, Yu Cheng

cs.AI

Abstract

La capacità di seguire le istruzioni è essenziale per allineare i grandi modelli linguistici (LLMs) con l'intento dell'utente. Sebbene i recenti modelli orientati al ragionamento mostrino prestazioni impressionanti su problemi matematici complessi, la loro capacità di aderire a istruzioni in linguaggio naturale rimane poco esplorata. In questo lavoro, introduciamo MathIF, un benchmark dedicato per valutare il rispetto delle istruzioni nei compiti di ragionamento matematico. La nostra analisi empirica rivela una tensione costante tra il potenziamento della capacità di ragionamento e il mantenimento della controllabilità, poiché i modelli che ragionano in modo più efficace spesso faticano a conformarsi alle direttive dell'utente. Troviamo che i modelli ottimizzati su catene di pensiero lunghe distillate o addestrati con rinforzo orientato al ragionamento spesso peggiorano nell'aderenza alle istruzioni, specialmente quando aumenta la lunghezza della generazione. Inoltre, dimostriamo che anche interventi semplici possono recuperare parzialmente l'obbedienza, sebbene a scapito delle prestazioni di ragionamento. Questi risultati evidenziano una tensione fondamentale negli attuali paradigmi di addestramento degli LLM e motivano la necessità di modelli di ragionamento più consapevoli delle istruzioni. Rilasciamo il codice e i dati su https://github.com/TingchenFu/MathIF.

English

Instruction-following is essential for aligning large language models (LLMs) with user intent. While recent reasoning-oriented models exhibit impressive performance on complex mathematical problems, their ability to adhere to natural language instructions remains underexplored. In this work, we introduce MathIF, a dedicated benchmark for evaluating instruction-following in mathematical reasoning tasks. Our empirical analysis reveals a consistent tension between scaling up reasoning capacity and maintaining controllability, as models that reason more effectively often struggle to comply with user directives. We find that models tuned on distilled long chains-of-thought or trained with reasoning-oriented reinforcement learning often degrade in instruction adherence, especially when generation length increases. Furthermore, we show that even simple interventions can partially recover obedience, though at the cost of reasoning performance. These findings highlight a fundamental tension in current LLM training paradigms and motivate the need for more instruction-aware reasoning models. We release the code and data at https://github.com/TingchenFu/MathIF.