Schaalbaar redeneren, controle verliezen: Evaluatie van instructieopvolging in grote redeneermodellen

Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models

May 20, 2025

Auteurs: Tingchen Fu, Jiawei Gu, Yafu Li, Xiaoye Qu, Yu Cheng

cs.AI

Samenvatting

Het volgen van instructies is essentieel voor het afstemmen van grote taalmodellen (LLMs) op de intenties van gebruikers. Hoewel recente modellen gericht op redeneren indrukwekkende prestaties laten zien bij complexe wiskundige problemen, blijft hun vermogen om natuurlijke taal-instructies op te volgen onderbelicht. In dit werk introduceren we MathIF, een specifieke benchmark voor het evalueren van instructievolging bij wiskundige redeneertaken. Onze empirische analyse toont een consistent spanningsveld tussen het opschalen van redeneercapaciteit en het behouden van controleerbaarheid, aangezien modellen die effectiever redeneren vaak moeite hebben om gebruikersrichtlijnen te volgen. We constateren dat modellen die zijn afgestemd op gedistilleerde lange ketens van gedachten of getraind met redeneringsgerichte reinforcement learning vaak achteruitgaan in het volgen van instructies, vooral wanneer de generatielengte toeneemt. Bovendien laten we zien dat zelfs eenvoudige interventies gedeeltelijk kunnen bijdragen aan het herstellen van gehoorzaamheid, zij het ten koste van de redeneerprestaties. Deze bevindingen benadrukken een fundamenteel spanningsveld in de huidige LLM-trainingsparadigma's en motiveren de behoefte aan meer instructiebewuste redeneermodellen. We maken de code en data beschikbaar op https://github.com/TingchenFu/MathIF.

English

Instruction-following is essential for aligning large language models (LLMs) with user intent. While recent reasoning-oriented models exhibit impressive performance on complex mathematical problems, their ability to adhere to natural language instructions remains underexplored. In this work, we introduce MathIF, a dedicated benchmark for evaluating instruction-following in mathematical reasoning tasks. Our empirical analysis reveals a consistent tension between scaling up reasoning capacity and maintaining controllability, as models that reason more effectively often struggle to comply with user directives. We find that models tuned on distilled long chains-of-thought or trained with reasoning-oriented reinforcement learning often degrade in instruction adherence, especially when generation length increases. Furthermore, we show that even simple interventions can partially recover obedience, though at the cost of reasoning performance. These findings highlight a fundamental tension in current LLM training paradigms and motivate the need for more instruction-aware reasoning models. We release the code and data at https://github.com/TingchenFu/MathIF.