ThinkDial: Ein offenes Rezept zur Steuerung des Denkaufwands in großen Sprachmodellen

ThinkDial: An Open Recipe for Controlling Reasoning Effort in Large Language Models

August 26, 2025

papers.authors: Qianyu He, Siyu Yuan, Xuefeng Li, Mingxuan Wang, Jiangjie Chen

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) mit Chain-of-Thought-Reasoning haben bemerkenswerte Problemlösungsfähigkeiten demonstriert, doch die Kontrolle ihres Rechenaufwands bleibt eine erhebliche Herausforderung für den praktischen Einsatz. Aktuelle proprietäre Systeme wie die gpt-oss-Serie von OpenAI haben diskrete Betriebsmodi zur intuitiven Steuerung des Reasoning eingeführt, doch die Open-Source-Community hat solche Fähigkeiten weitgehend nicht erreicht. In diesem Artikel stellen wir ThinkDial vor, das erste Open-Recipe-End-to-End-Framework, das gpt-oss-artige kontrollierbares Reasoning durch diskrete Betriebsmodi erfolgreich implementiert. Unser System ermöglicht ein nahtloses Wechseln zwischen drei verschiedenen Reasoning-Regimen: Hochmodus (volle Reasoning-Fähigkeit), Mittelmodus (50 Prozent Token-Reduktion mit <10 Prozent Leistungseinbuße) und Niedrigmodus (75 Prozent Token-Reduktion mit <15 Prozent Leistungseinbuße). Dies erreichen wir durch ein End-to-End-Trainingsparadigma, das die Budgetmodus-Steuerung in die gesamte Pipeline integriert: Budgetmodus-supervised Fine-Tuning, das kontrollierbare Reasoning-Fähigkeiten direkt in den Lernprozess einbettet, und zweiphasiges budgetbewusstes Reinforcement Learning mit adaptiver Belohnungsformung. Umfangreiche Experimente zeigen, dass ThinkDial Zielkompromisse zwischen Kompression und Leistung mit deutlichen Reduktionen der Antwortlänge erreicht, während Leistungsschwellen eingehalten werden. Das Framework zeigt auch starke Generalisierungsfähigkeiten bei Out-of-Distribution-Aufgaben.

English

Large language models (LLMs) with chain-of-thought reasoning have demonstrated remarkable problem-solving capabilities, but controlling their computational effort remains a significant challenge for practical deployment. Recent proprietary systems like OpenAI's gpt-oss series have introduced discrete operational modes for intuitive reasoning control, but the open-source community has largely failed to achieve such capabilities. In this paper, we introduce ThinkDial, the first open-recipe end-to-end framework that successfully implements gpt-oss-style controllable reasoning through discrete operational modes. Our system enables seamless switching between three distinct reasoning regimes: High mode (full reasoning capability), Medium mode (50 percent token reduction with <10 percent performance degradation), and Low mode (75 percent token reduction with <15 percent performance degradation). We achieve this through an end-to-end training paradigm that integrates budget-mode control throughout the entire pipeline: budget-mode supervised fine-tuning that embeds controllable reasoning capabilities directly into the learning process, and two-phase budget-aware reinforcement learning with adaptive reward shaping. Extensive experiments demonstrate that ThinkDial achieves target compression-performance trade-offs with clear response length reductions while maintaining performance thresholds. The framework also exhibits strong generalization capabilities on out-of-distribution tasks.