Manipulation de la pensée : La pensée externe peut être efficace pour les grands modèles de raisonnement

Thought Manipulation: External Thought Can Be Efficient for Large Reasoning Models

April 18, 2025

Auteurs: Yule Liu, Jingyi Zheng, Zhen Sun, Zifan Peng, Wenhan Dong, Zeyang Sha, Shiwen Cui, Weiqiang Wang, Xinlei He

cs.AI

Résumé

Les récentes avancées dans les modèles de raisonnement à grande échelle (LRMs) ont démontré l'efficacité de l'augmentation du calcul au moment du test pour améliorer les capacités de raisonnement dans de multiples tâches. Cependant, les LRMs souffrent généralement de problèmes de "sur-réflexion", où les modèles génèrent des étapes de raisonnement significativement redondantes tout en apportant des gains de performance limités. Les travaux existants s'appuient sur le fine-tuning pour atténuer la sur-réflexion, ce qui nécessite des données supplémentaires, des configurations d'entraînement non conventionnelles, des risques de désalignement de sécurité et une mauvaise généralisation. Grâce à une analyse empirique, nous révélons une caractéristique importante du comportement des LRMs : placer des chaînes de pensée (CoTs) externes générées par des modèles plus petits entre les tokens de réflexion (<think> et </think>) peut efficacement manipuler le modèle pour générer moins de pensées. En nous appuyant sur ces insights, nous proposons un pipeline simple mais efficace, ThoughtMani, permettant aux LRMs de contourner les étapes intermédiaires inutiles et de réduire significativement les coûts de calcul. Nous menons des expériences approfondies pour valider l'utilité et l'efficacité de ThoughtMani. Par exemple, lorsqu'il est appliqué à QwQ-32B sur le jeu de données LiveBench/Code, ThoughtMani maintient la performance originale et réduit le nombre de tokens de sortie d'environ 30 %, avec peu de surcharge provenant du générateur de CoT. De plus, nous constatons que ThoughtMani améliore l'alignement de sécurité en moyenne de 10 %. Étant donné que les fournisseurs de modèles servent généralement des modèles de différentes tailles simultanément, ThoughtMani offre un moyen efficace de construire des LRMs plus efficaces et accessibles pour des applications réelles.

English

Recent advancements in large reasoning models (LRMs) have demonstrated the effectiveness of scaling test-time computation to enhance reasoning capabilities in multiple tasks. However, LRMs typically suffer from "overthinking" problems, where models generate significantly redundant reasoning steps while bringing limited performance gains. Existing work relies on fine-tuning to mitigate overthinking, which requires additional data, unconventional training setups, risky safety misalignment, and poor generalization. Through empirical analysis, we reveal an important characteristic of LRM behaviors that placing external CoTs generated by smaller models between the thinking token (<think> and </think>) can effectively manipulate the model to generate fewer thoughts. Building on these insights, we propose a simple yet efficient pipeline, ThoughtMani, to enable LRMs to bypass unnecessary intermediate steps and reduce computational costs significantly. We conduct extensive experiments to validate the utility and efficiency of ThoughtMani. For instance, when applied to QwQ-32B on the LiveBench/Code dataset, ThoughtMani keeps the original performance and reduces output token counts by approximately 30%, with little overhead from the CoT generator. Furthermore, we find that ThoughtMani enhances safety alignment by an average of 10%. Since model vendors typically serve models of different sizes simultaneously, ThoughtMani provides an effective way to construct more efficient and accessible LRMs for real-world applications.