Mise à l'échelle du raisonnement, perte de contrôle : Évaluation du suivi des instructions dans les modèles de raisonnement à grande échelle

Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models

May 20, 2025

Auteurs: Tingchen Fu, Jiawei Gu, Yafu Li, Xiaoye Qu, Yu Cheng

cs.AI

Résumé

La capacité à suivre des instructions est essentielle pour aligner les grands modèles de langage (LLMs) avec l'intention des utilisateurs. Bien que les modèles récents axés sur le raisonnement montrent des performances impressionnantes sur des problèmes mathématiques complexes, leur aptitude à respecter des instructions en langage naturel reste peu explorée. Dans ce travail, nous introduisons MathIF, un benchmark dédié à l'évaluation du suivi d'instructions dans des tâches de raisonnement mathématique. Notre analyse empirique révèle une tension constante entre l'augmentation de la capacité de raisonnement et le maintien de la contrôlabilité, car les modèles qui raisonnent plus efficacement ont souvent du mal à se conformer aux directives des utilisateurs. Nous constatons que les modèles ajustés sur des chaînes de pensée longues distillées ou entraînés avec un apprentissage par renforcement orienté raisonnement voient souvent leur adhésion aux instructions se dégrader, en particulier lorsque la longueur de la génération augmente. De plus, nous montrons que même des interventions simples peuvent partiellement restaurer l'obéissance, bien qu'au détriment des performances de raisonnement. Ces résultats mettent en lumière une tension fondamentale dans les paradigmes actuels d'entraînement des LLMs et motivent la nécessité de modèles de raisonnement plus conscients des instructions. Nous publions le code et les données à l'adresse https://github.com/TingchenFu/MathIF.

English

Instruction-following is essential for aligning large language models (LLMs) with user intent. While recent reasoning-oriented models exhibit impressive performance on complex mathematical problems, their ability to adhere to natural language instructions remains underexplored. In this work, we introduce MathIF, a dedicated benchmark for evaluating instruction-following in mathematical reasoning tasks. Our empirical analysis reveals a consistent tension between scaling up reasoning capacity and maintaining controllability, as models that reason more effectively often struggle to comply with user directives. We find that models tuned on distilled long chains-of-thought or trained with reasoning-oriented reinforcement learning often degrade in instruction adherence, especially when generation length increases. Furthermore, we show that even simple interventions can partially recover obedience, though at the cost of reasoning performance. These findings highlight a fundamental tension in current LLM training paradigms and motivate the need for more instruction-aware reasoning models. We release the code and data at https://github.com/TingchenFu/MathIF.