Gedachtenmanipulatie: Externe Gedachten Kunnen Efficiënt Zijn voor Grote Redeneermodellen

Thought Manipulation: External Thought Can Be Efficient for Large Reasoning Models

April 18, 2025

Auteurs: Yule Liu, Jingyi Zheng, Zhen Sun, Zifan Peng, Wenhan Dong, Zeyang Sha, Shiwen Cui, Weiqiang Wang, Xinlei He

cs.AI

Samenvatting

Recente ontwikkelingen in grote redeneermodellen (LRMs) hebben de effectiviteit aangetoond van het opschalen van rekentijd tijdens het testen om de redeneervaardigheden bij meerdere taken te verbeteren. LRMs hebben echter vaak last van "overdenkproblemen", waarbij modellen aanzienlijk overbodige redeneerstappen genereren terwijl dit slechts beperkte prestatieverbeteringen oplevert. Bestaande werkwijzen vertrouwen op fine-tuning om overdenken te verminderen, wat extra data vereist, onconventionele trainingsopstellingen, risicovolle veiligheidsmisalignering en slechte generalisatie met zich meebrengt. Door empirische analyse onthullen we een belangrijk kenmerk van LRM-gedrag: het plaatsen van externe CoTs (Chain-of-Thoughts) gegenereerd door kleinere modellen tussen de denktokens (<think> en </think>) kan het model effectief manipuleren om minder gedachten te genereren. Op basis van deze inzichten stellen we een eenvoudige maar efficiënte pipeline voor, ThoughtMani, waarmee LRMs onnodige tussenstappen kunnen omzeilen en de rekentijd aanzienlijk kunnen verminderen. We voeren uitgebreide experimenten uit om de bruikbaarheid en efficiëntie van ThoughtMani te valideren. Wanneer bijvoorbeeld toegepast op QwQ-32B op de LiveBench/Code-dataset, behoudt ThoughtMani de oorspronkelijke prestaties en vermindert het aantal uitvoertokens met ongeveer 30%, met weinig overhead van de CoT-generator. Bovendien ontdekken we dat ThoughtMani de veiligheidsalignering gemiddeld met 10% verbetert. Omdat modelleveranciers doorgaans modellen van verschillende groottes tegelijkertijd aanbieden, biedt ThoughtMani een effectieve manier om efficiëntere en toegankelijkere LRMs te bouwen voor real-world toepassingen.

English

Recent advancements in large reasoning models (LRMs) have demonstrated the effectiveness of scaling test-time computation to enhance reasoning capabilities in multiple tasks. However, LRMs typically suffer from "overthinking" problems, where models generate significantly redundant reasoning steps while bringing limited performance gains. Existing work relies on fine-tuning to mitigate overthinking, which requires additional data, unconventional training setups, risky safety misalignment, and poor generalization. Through empirical analysis, we reveal an important characteristic of LRM behaviors that placing external CoTs generated by smaller models between the thinking token (<think> and </think>) can effectively manipulate the model to generate fewer thoughts. Building on these insights, we propose a simple yet efficient pipeline, ThoughtMani, to enable LRMs to bypass unnecessary intermediate steps and reduce computational costs significantly. We conduct extensive experiments to validate the utility and efficiency of ThoughtMani. For instance, when applied to QwQ-32B on the LiveBench/Code dataset, ThoughtMani keeps the original performance and reduces output token counts by approximately 30%, with little overhead from the CoT generator. Furthermore, we find that ThoughtMani enhances safety alignment by an average of 10%. Since model vendors typically serve models of different sizes simultaneously, ThoughtMani provides an effective way to construct more efficient and accessible LRMs for real-world applications.