Pensée souple : Libérer le potentiel de raisonnement des LLM dans l'espace continu des concepts

Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space

May 21, 2025

Auteurs: Zhen Zhang, Xuehai He, Weixiang Yan, Ao Shen, Chenyang Zhao, Shuohang Wang, Yelong Shen, Xin Eric Wang

cs.AI

Résumé

La cognition humaine implique généralement de penser à travers des concepts abstraits et fluides plutôt que d'utiliser strictement des tokens linguistiques discrets. Cependant, les modèles de raisonnement actuels sont limités à raisonner dans les frontières du langage humain, traitant des embeddings de tokens discrets qui représentent des points fixes dans l'espace sémantique. Cette contrainte discrète limite la puissance expressive et le potentiel maximal de ces modèles de raisonnement, entraînant souvent une exploration incomplète des chemins de raisonnement, car les méthodes standard de Chaîne de Pensée (CoT) reposent sur l'échantillonnage d'un token par étape. Dans ce travail, nous introduisons Soft Thinking, une méthode sans entraînement qui imite le raisonnement "doux" de type humain en générant des tokens de concepts abstraits dans un espace conceptuel continu. Ces tokens de concepts sont créés par le mélange pondéré par probabilité des embeddings de tokens, qui forment l'espace conceptuel continu, permettant des transitions fluides et des représentations plus riches qui transcendent les limites discrètes traditionnelles. En essence, chaque token de concept généré encapsule plusieurs significations provenant de tokens discrets apparentés, explorant implicitement divers chemins de raisonnement pour converger efficacement vers la réponse correcte. Les évaluations empiriques sur divers benchmarks mathématiques et de codage démontrent de manière cohérente l'efficacité et l'efficience de Soft Thinking, améliorant la précision pass@1 jusqu'à 2,48 points tout en réduisant l'utilisation de tokens jusqu'à 22,4 % par rapport à la CoT standard. L'analyse qualitative révèle en outre que les sorties de Soft Thinking restent hautement interprétables et lisibles, mettant en lumière le potentiel de Soft Thinking à briser le goulot d'étranglement inhérent au raisonnement basé sur le langage discret. Le code est disponible à l'adresse https://github.com/eric-ai-lab/Soft-Thinking.

English

Human cognition typically involves thinking through abstract, fluid concepts rather than strictly using discrete linguistic tokens. Current reasoning models, however, are constrained to reasoning within the boundaries of human language, processing discrete token embeddings that represent fixed points in the semantic space. This discrete constraint restricts the expressive power and upper potential of such reasoning models, often causing incomplete exploration of reasoning paths, as standard Chain-of-Thought (CoT) methods rely on sampling one token per step. In this work, we introduce Soft Thinking, a training-free method that emulates human-like "soft" reasoning by generating soft, abstract concept tokens in a continuous concept space. These concept tokens are created by the probability-weighted mixture of token embeddings, which form the continuous concept space, enabling smooth transitions and richer representations that transcend traditional discrete boundaries. In essence, each generated concept token encapsulates multiple meanings from related discrete tokens, implicitly exploring various reasoning paths to converge effectively toward the correct answer. Empirical evaluations on diverse mathematical and coding benchmarks consistently demonstrate the effectiveness and efficiency of Soft Thinking, improving pass@1 accuracy by up to 2.48 points while simultaneously reducing token usage by up to 22.4% compared to standard CoT. Qualitative analysis further reveals that Soft Thinking outputs remain highly interpretable and readable, highlighting the potential of Soft Thinking to break the inherent bottleneck of discrete language-based reasoning. Code is available at https://github.com/eric-ai-lab/Soft-Thinking.