Soft Thinking: Das Erschließen des Schlussfolgerungspotenzials von LLMs im kontinuierlichen Konzeptraum

Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space

May 21, 2025

Autoren: Zhen Zhang, Xuehai He, Weixiang Yan, Ao Shen, Chenyang Zhao, Shuohang Wang, Yelong Shen, Xin Eric Wang

cs.AI

Zusammenfassung

Die menschliche Kognition beinhaltet typischerweise das Denken in abstrakten, fließenden Konzepten, anstatt strikt diskrete linguistische Tokens zu verwenden. Aktuelle Reasoning-Modelle sind jedoch darauf beschränkt, innerhalb der Grenzen der menschlichen Sprache zu operieren, indem sie diskrete Token-Embeddings verarbeiten, die feste Punkte im semantischen Raum repräsentieren. Diese diskrete Beschränkung begrenzt die Ausdruckskraft und das maximale Potenzial solcher Reasoning-Modelle, was oft zu einer unvollständigen Erkundung von Reasoning-Pfaden führt, da Standard-Chain-of-Thought (CoT)-Methoden darauf basieren, pro Schritt einen Token zu sammeln. In dieser Arbeit stellen wir Soft Thinking vor, eine trainingsfreie Methode, die menschliches „weiches“ Reasoning nachahmt, indem sie weiche, abstrakte Konzept-Tokens in einem kontinuierlichen Konzeptraum erzeugt. Diese Konzept-Tokens werden durch eine wahrscheinlichkeitsgewichtete Mischung von Token-Embeddings erstellt, die den kontinuierlichen Konzeptraum bilden, wodurch fließende Übergänge und reichhaltigere Repräsentationen ermöglicht werden, die traditionelle diskrete Grenzen überschreiten. Im Wesentlichen fasst jeder erzeugte Konzept-Token mehrere Bedeutungen aus verwandten diskreten Tokens zusammen und erkundet implizit verschiedene Reasoning-Pfade, um effektiv zur richtigen Antwort zu gelangen. Empirische Auswertungen auf diversen mathematischen und Programmier-Benchmarks zeigen durchweg die Effektivität und Effizienz von Soft Thinking, wobei die Pass@1-Genauigkeit um bis zu 2,48 Punkte verbessert wird, während gleichzeitig der Token-Verbrauch um bis zu 22,4 % im Vergleich zu Standard-CoT reduziert wird. Qualitative Analysen zeigen weiterhin, dass die Ausgaben von Soft Thinking hochgradig interpretierbar und lesbar bleiben, was das Potenzial von Soft Thinking unterstreicht, den inhärenten Engpass des diskret sprachbasierten Reasonings zu überwinden. Der Code ist verfügbar unter https://github.com/eric-ai-lab/Soft-Thinking.

English

Human cognition typically involves thinking through abstract, fluid concepts rather than strictly using discrete linguistic tokens. Current reasoning models, however, are constrained to reasoning within the boundaries of human language, processing discrete token embeddings that represent fixed points in the semantic space. This discrete constraint restricts the expressive power and upper potential of such reasoning models, often causing incomplete exploration of reasoning paths, as standard Chain-of-Thought (CoT) methods rely on sampling one token per step. In this work, we introduce Soft Thinking, a training-free method that emulates human-like "soft" reasoning by generating soft, abstract concept tokens in a continuous concept space. These concept tokens are created by the probability-weighted mixture of token embeddings, which form the continuous concept space, enabling smooth transitions and richer representations that transcend traditional discrete boundaries. In essence, each generated concept token encapsulates multiple meanings from related discrete tokens, implicitly exploring various reasoning paths to converge effectively toward the correct answer. Empirical evaluations on diverse mathematical and coding benchmarks consistently demonstrate the effectiveness and efficiency of Soft Thinking, improving pass@1 accuracy by up to 2.48 points while simultaneously reducing token usage by up to 22.4% compared to standard CoT. Qualitative analysis further reveals that Soft Thinking outputs remain highly interpretable and readable, highlighting the potential of Soft Thinking to break the inherent bottleneck of discrete language-based reasoning. Code is available at https://github.com/eric-ai-lab/Soft-Thinking.