ThinkDial: Una Ricetta Aperta per il Controllo dello Sforzo di Ragionamento nei Modelli Linguistici di Grande Dimensione

ThinkDial: An Open Recipe for Controlling Reasoning Effort in Large Language Models

August 26, 2025

Autori: Qianyu He, Siyu Yuan, Xuefeng Li, Mingxuan Wang, Jiangjie Chen

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) con ragionamento a catena di pensiero hanno dimostrato capacità di problem solving notevoli, ma il controllo del loro sforzo computazionale rimane una sfida significativa per un utilizzo pratico. Sistemi proprietari recenti come la serie gpt-oss di OpenAI hanno introdotto modalità operative discrete per un controllo intuitivo del ragionamento, ma la comunità open-source non è riuscita a raggiungere tali capacità. In questo articolo, presentiamo ThinkDial, il primo framework end-to-end open-recipe che implementa con successo un ragionamento controllabile in stile gpt-oss attraverso modalità operative discrete. Il nostro sistema consente di passare in modo fluido tra tre distinti regimi di ragionamento: Modalità Alta (capacità di ragionamento completa), Modalità Media (riduzione del 50% dei token con un degrado delle prestazioni inferiore al 10%) e Modalità Bassa (riduzione del 75% dei token con un degrado delle prestazioni inferiore al 15%). Raggiungiamo questo obiettivo attraverso un paradigma di addestramento end-to-end che integra il controllo della modalità budget in tutta la pipeline: fine-tuning supervisionato in modalità budget che incorpora direttamente le capacità di ragionamento controllabile nel processo di apprendimento, e apprendimento per rinforzo a due fasi con consapevolezza del budget e modellazione adattiva delle ricompense. Esperimenti estensivi dimostrano che ThinkDial raggiunge compromessi target tra compressione e prestazioni con chiare riduzioni della lunghezza delle risposte mantenendo soglie di prestazione. Il framework mostra anche forti capacità di generalizzazione su compiti fuori distribuzione.

English

Large language models (LLMs) with chain-of-thought reasoning have demonstrated remarkable problem-solving capabilities, but controlling their computational effort remains a significant challenge for practical deployment. Recent proprietary systems like OpenAI's gpt-oss series have introduced discrete operational modes for intuitive reasoning control, but the open-source community has largely failed to achieve such capabilities. In this paper, we introduce ThinkDial, the first open-recipe end-to-end framework that successfully implements gpt-oss-style controllable reasoning through discrete operational modes. Our system enables seamless switching between three distinct reasoning regimes: High mode (full reasoning capability), Medium mode (50 percent token reduction with <10 percent performance degradation), and Low mode (75 percent token reduction with <15 percent performance degradation). We achieve this through an end-to-end training paradigm that integrates budget-mode control throughout the entire pipeline: budget-mode supervised fine-tuning that embeds controllable reasoning capabilities directly into the learning process, and two-phase budget-aware reinforcement learning with adaptive reward shaping. Extensive experiments demonstrate that ThinkDial achieves target compression-performance trade-offs with clear response length reductions while maintaining performance thresholds. The framework also exhibits strong generalization capabilities on out-of-distribution tasks.