Escalando el razonamiento, perdiendo el control: Evaluación del seguimiento de instrucciones en modelos de razonamiento a gran escala

Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models

May 20, 2025

Autores: Tingchen Fu, Jiawei Gu, Yafu Li, Xiaoye Qu, Yu Cheng

cs.AI

Resumen

La capacidad de seguir instrucciones es esencial para alinear los modelos de lenguaje de gran escala (LLMs) con la intención del usuario. Si bien los modelos recientes orientados al razonamiento muestran un rendimiento impresionante en problemas matemáticos complejos, su capacidad para adherirse a instrucciones en lenguaje natural sigue siendo poco explorada. En este trabajo, presentamos MathIF, un benchmark dedicado a evaluar el seguimiento de instrucciones en tareas de razonamiento matemático. Nuestro análisis empírico revela una tensión constante entre escalar la capacidad de razonamiento y mantener la controlabilidad, ya que los modelos que razonan de manera más efectiva a menudo tienen dificultades para cumplir con las directivas del usuario. Descubrimos que los modelos ajustados con cadenas de pensamiento largas destiladas o entrenados con aprendizaje por refuerzo orientado al razonamiento a menudo degradan su adherencia a las instrucciones, especialmente cuando aumenta la longitud de la generación. Además, demostramos que incluso intervenciones simples pueden recuperar parcialmente la obediencia, aunque a costa del rendimiento en el razonamiento. Estos hallazgos resaltan una tensión fundamental en los paradigmas actuales de entrenamiento de LLMs y motivan la necesidad de modelos de razonamiento más conscientes de las instrucciones. Publicamos el código y los datos en https://github.com/TingchenFu/MathIF.

English

Instruction-following is essential for aligning large language models (LLMs) with user intent. While recent reasoning-oriented models exhibit impressive performance on complex mathematical problems, their ability to adhere to natural language instructions remains underexplored. In this work, we introduce MathIF, a dedicated benchmark for evaluating instruction-following in mathematical reasoning tasks. Our empirical analysis reveals a consistent tension between scaling up reasoning capacity and maintaining controllability, as models that reason more effectively often struggle to comply with user directives. We find that models tuned on distilled long chains-of-thought or trained with reasoning-oriented reinforcement learning often degrade in instruction adherence, especially when generation length increases. Furthermore, we show that even simple interventions can partially recover obedience, though at the cost of reasoning performance. These findings highlight a fundamental tension in current LLM training paradigms and motivate the need for more instruction-aware reasoning models. We release the code and data at https://github.com/TingchenFu/MathIF.