Skalierung des Denkens, Verlust der Kontrolle: Bewertung der Befolgung von Anweisungen in großen Denkmodellen

Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models

May 20, 2025

Autoren: Tingchen Fu, Jiawei Gu, Yafu Li, Xiaoye Qu, Yu Cheng

cs.AI

Zusammenfassung

Die Befolgung von Anweisungen ist entscheidend, um große Sprachmodelle (LLMs) mit den Absichten der Nutzer in Einklang zu bringen. Während neuere, auf logisches Denken ausgerichtete Modelle beeindruckende Leistungen bei komplexen mathematischen Problemen zeigen, bleibt ihre Fähigkeit, natürliche Sprachanweisungen zu befolgen, weitgehend unerforscht. In dieser Arbeit stellen wir MathIF vor, einen speziellen Benchmark zur Bewertung der Anweisungsbefolgung bei mathematischen Denkaufgaben. Unsere empirische Analyse zeigt eine beständige Spannung zwischen der Steigerung der Denkfähigkeit und der Aufrechterhaltung der Kontrollierbarkeit, da Modelle, die effektiver schlussfolgern, oft Schwierigkeiten haben, Nutzeranweisungen zu befolgen. Wir stellen fest, dass Modelle, die auf destillierten langen Gedankenketten abgestimmt oder mit auf logisches Denken ausgerichtetem Reinforcement Learning trainiert wurden, oft in der Anweisungsbefolgung nachlassen, insbesondere wenn die Generierungslänge zunimmt. Darüber hinaus zeigen wir, dass selbst einfache Interventionen die Befolgung teilweise wiederherstellen können, allerdings auf Kosten der Denkleistung. Diese Erkenntnisse verdeutlichen eine grundlegende Spannung in den aktuellen Trainingsparadigmen für LLMs und unterstreichen die Notwendigkeit von Modellen, die stärker auf Anweisungen ausgerichtet sind. Wir veröffentlichen den Code und die Daten unter https://github.com/TingchenFu/MathIF.

English

Instruction-following is essential for aligning large language models (LLMs) with user intent. While recent reasoning-oriented models exhibit impressive performance on complex mathematical problems, their ability to adhere to natural language instructions remains underexplored. In this work, we introduce MathIF, a dedicated benchmark for evaluating instruction-following in mathematical reasoning tasks. Our empirical analysis reveals a consistent tension between scaling up reasoning capacity and maintaining controllability, as models that reason more effectively often struggle to comply with user directives. We find that models tuned on distilled long chains-of-thought or trained with reasoning-oriented reinforcement learning often degrade in instruction adherence, especially when generation length increases. Furthermore, we show that even simple interventions can partially recover obedience, though at the cost of reasoning performance. These findings highlight a fundamental tension in current LLM training paradigms and motivate the need for more instruction-aware reasoning models. We release the code and data at https://github.com/TingchenFu/MathIF.