ThinkDial: Una receta abierta para controlar el esfuerzo de razonamiento en modelos de lenguaje a gran escala

ThinkDial: An Open Recipe for Controlling Reasoning Effort in Large Language Models

August 26, 2025

Autores: Qianyu He, Siyu Yuan, Xuefeng Li, Mingxuan Wang, Jiangjie Chen

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs) con razonamiento en cadena de pensamiento han demostrado capacidades notables para resolver problemas, pero controlar su esfuerzo computacional sigue siendo un desafío significativo para su implementación práctica. Sistemas propietarios recientes como la serie gpt-oss de OpenAI han introducido modos operativos discretos para un control intuitivo del razonamiento, pero la comunidad de código abierto no ha logrado alcanzar tales capacidades. En este artículo, presentamos ThinkDial, el primer marco de trabajo de extremo a extremo de receta abierta que implementa con éxito un razonamiento controlable al estilo gpt-oss mediante modos operativos discretos. Nuestro sistema permite cambiar sin problemas entre tres regímenes de razonamiento distintos: Modo Alto (capacidad de razonamiento completa), Modo Medio (reducción del 50 por ciento de tokens con una degradación del rendimiento menor al 10 por ciento) y Modo Bajo (reducción del 75 por ciento de tokens con una degradación del rendimiento menor al 15 por ciento). Logramos esto a través de un paradigma de entrenamiento de extremo a extremo que integra el control de modo de presupuesto en toda la canalización: ajuste fino supervisado en modo de presupuesto que incorpora capacidades de razonamiento controlable directamente en el proceso de aprendizaje, y aprendizaje por refuerzo en dos fases con conciencia de presupuesto y conformación adaptativa de recompensas. Experimentos extensos demuestran que ThinkDial alcanza compensaciones objetivo entre compresión y rendimiento con reducciones claras en la longitud de las respuestas, manteniendo umbrales de rendimiento. El marco también exhibe fuertes capacidades de generalización en tareas fuera de distribución.

English

Large language models (LLMs) with chain-of-thought reasoning have demonstrated remarkable problem-solving capabilities, but controlling their computational effort remains a significant challenge for practical deployment. Recent proprietary systems like OpenAI's gpt-oss series have introduced discrete operational modes for intuitive reasoning control, but the open-source community has largely failed to achieve such capabilities. In this paper, we introduce ThinkDial, the first open-recipe end-to-end framework that successfully implements gpt-oss-style controllable reasoning through discrete operational modes. Our system enables seamless switching between three distinct reasoning regimes: High mode (full reasoning capability), Medium mode (50 percent token reduction with <10 percent performance degradation), and Low mode (75 percent token reduction with <15 percent performance degradation). We achieve this through an end-to-end training paradigm that integrates budget-mode control throughout the entire pipeline: budget-mode supervised fine-tuning that embeds controllable reasoning capabilities directly into the learning process, and two-phase budget-aware reinforcement learning with adaptive reward shaping. Extensive experiments demonstrate that ThinkDial achieves target compression-performance trade-offs with clear response length reductions while maintaining performance thresholds. The framework also exhibits strong generalization capabilities on out-of-distribution tasks.