Manipolazione del Pensiero: Il Pensiero Esterno Può Essere Efficace per Modelli di Ragionamento di Grande Scala

Thought Manipulation: External Thought Can Be Efficient for Large Reasoning Models

April 18, 2025

Autori: Yule Liu, Jingyi Zheng, Zhen Sun, Zifan Peng, Wenhan Dong, Zeyang Sha, Shiwen Cui, Weiqiang Wang, Xinlei He

cs.AI

Abstract

I recenti progressi nei modelli di ragionamento su larga scala (LRM) hanno dimostrato l'efficacia del ridimensionamento del calcolo al momento del test per migliorare le capacità di ragionamento in molteplici compiti. Tuttavia, gli LRM soffrono tipicamente di problemi di "overthinking", in cui i modelli generano passaggi di ragionamento significativamente ridondanti mentre offrono guadagni di prestazioni limitati. Il lavoro esistente si affina al fine-tuning per mitigare l'overthinking, il che richiede dati aggiuntivi, configurazioni di addestramento non convenzionali, rischi di disallineamento della sicurezza e scarsa generalizzazione. Attraverso un'analisi empirica, riveliamo un'importante caratteristica del comportamento degli LRM: posizionare CoT esterni generati da modelli più piccoli tra i token di pensiero (<think> e </think>) può manipolare efficacemente il modello per generare meno pensieri. Basandoci su queste intuizioni, proponiamo una pipeline semplice ma efficiente, ThoughtMani, per consentire agli LRM di bypassare passaggi intermedi non necessari e ridurre significativamente i costi computazionali. Abbiamo condotto esperimenti estesi per validare l'utilità e l'efficienza di ThoughtMani. Ad esempio, quando applicato a QwQ-32B sul dataset LiveBench/Code, ThoughtMani mantiene le prestazioni originali e riduce il conteggio dei token di output di circa il 30%, con un sovraccarico minimo dal generatore di CoT. Inoltre, scopriamo che ThoughtMani migliora l'allineamento della sicurezza in media del 10%. Poiché i fornitori di modelli servono tipicamente modelli di dimensioni diverse simultaneamente, ThoughtMani offre un modo efficace per costruire LRM più efficienti e accessibili per applicazioni nel mondo reale.

English

Recent advancements in large reasoning models (LRMs) have demonstrated the effectiveness of scaling test-time computation to enhance reasoning capabilities in multiple tasks. However, LRMs typically suffer from "overthinking" problems, where models generate significantly redundant reasoning steps while bringing limited performance gains. Existing work relies on fine-tuning to mitigate overthinking, which requires additional data, unconventional training setups, risky safety misalignment, and poor generalization. Through empirical analysis, we reveal an important characteristic of LRM behaviors that placing external CoTs generated by smaller models between the thinking token (<think> and </think>) can effectively manipulate the model to generate fewer thoughts. Building on these insights, we propose a simple yet efficient pipeline, ThoughtMani, to enable LRMs to bypass unnecessary intermediate steps and reduce computational costs significantly. We conduct extensive experiments to validate the utility and efficiency of ThoughtMani. For instance, when applied to QwQ-32B on the LiveBench/Code dataset, ThoughtMani keeps the original performance and reduces output token counts by approximately 30%, with little overhead from the CoT generator. Furthermore, we find that ThoughtMani enhances safety alignment by an average of 10%. Since model vendors typically serve models of different sizes simultaneously, ThoughtMani provides an effective way to construct more efficient and accessible LRMs for real-world applications.