Escalando o Raciocínio, Perdendo o Controle: Avaliando o Seguimento de Instruções em Modelos de Raciocínio em Grande Escala

Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models

May 20, 2025

Autores: Tingchen Fu, Jiawei Gu, Yafu Li, Xiaoye Qu, Yu Cheng

cs.AI

Resumo

A capacidade de seguir instruções é essencial para alinhar grandes modelos de linguagem (LLMs) com a intenção do usuário. Embora modelos recentes orientados para raciocínio demonstrem desempenho impressionante em problemas matemáticos complexos, sua capacidade de aderir a instruções em linguagem natural permanece pouco explorada. Neste trabalho, apresentamos o MathIF, um benchmark dedicado para avaliar o seguimento de instruções em tarefas de raciocínio matemático. Nossa análise empírica revela uma tensão consistente entre escalar a capacidade de raciocínio e manter a controlabilidade, já que modelos que raciocinam de forma mais eficaz frequentemente lutam para cumprir as diretivas do usuário. Descobrimos que modelos ajustados em cadeias de pensamento longas destiladas ou treinados com aprendizado por reforço orientado para raciocínio muitas vezes apresentam degradação na aderência às instruções, especialmente quando o comprimento da geração aumenta. Além disso, mostramos que até mesmo intervenções simples podem recuperar parcialmente a obediência, embora às custas do desempenho de raciocínio. Essas descobertas destacam uma tensão fundamental nos paradigmas atuais de treinamento de LLMs e motivam a necessidade de modelos de raciocínio mais conscientes das instruções. Disponibilizamos o código e os dados em https://github.com/TingchenFu/MathIF.

English

Instruction-following is essential for aligning large language models (LLMs) with user intent. While recent reasoning-oriented models exhibit impressive performance on complex mathematical problems, their ability to adhere to natural language instructions remains underexplored. In this work, we introduce MathIF, a dedicated benchmark for evaluating instruction-following in mathematical reasoning tasks. Our empirical analysis reveals a consistent tension between scaling up reasoning capacity and maintaining controllability, as models that reason more effectively often struggle to comply with user directives. We find that models tuned on distilled long chains-of-thought or trained with reasoning-oriented reinforcement learning often degrade in instruction adherence, especially when generation length increases. Furthermore, we show that even simple interventions can partially recover obedience, though at the cost of reasoning performance. These findings highlight a fundamental tension in current LLM training paradigms and motivate the need for more instruction-aware reasoning models. We release the code and data at https://github.com/TingchenFu/MathIF.