ソフト思考：連続概念空間における大規模言語モデルの推論可能性の解放

Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space

May 21, 2025

著者: Zhen Zhang, Xuehai He, Weixiang Yan, Ao Shen, Chenyang Zhao, Shuohang Wang, Yelong Shen, Xin Eric Wang

cs.AI

要旨

人間の認知プロセスは、通常、厳密に離散的な言語トークンを使用するのではなく、抽象的で流動的な概念を通じて思考を行う。しかし、現在の推論モデルは、人間の言語の境界内で推論するように制約されており、意味空間における固定点を表す離散的なトークン埋め込みを処理する。この離散的な制約は、そのような推論モデルの表現力と上限を制限し、標準的なChain-of-Thought（CoT）手法が1ステップごとに1つのトークンをサンプリングすることに依存しているため、推論パスの不完全な探索を引き起こすことが多い。本研究では、Soft Thinkingを導入する。これは、連続的な概念空間において、ソフトで抽象的な概念トークンを生成することで、人間のような「ソフト」な推論を模倣するトレーニング不要の手法である。これらの概念トークンは、トークン埋め込みの確率重み付き混合によって作成され、連続的な概念空間を形成し、従来の離散的な境界を超えた滑らかな遷移とより豊かな表現を可能にする。本質的に、生成された各概念トークンは、関連する離散トークンからの複数の意味を包含し、暗黙的にさまざまな推論パスを探索して効果的に正解に収束する。多様な数学およびコーディングベンチマークでの実証評価により、Soft Thinkingの有効性と効率性が一貫して示され、標準的なCoTと比較して、pass@1精度を最大2.48ポイント向上させながら、トークン使用量を最大22.4％削減することが確認された。質的分析により、Soft Thinkingの出力が高い解釈可能性と可読性を維持していることがさらに明らかになり、離散言語ベースの推論に内在するボトルネックを打破するSoft Thinkingの可能性が強調されている。コードはhttps://github.com/eric-ai-lab/Soft-Thinkingで公開されている。

English

Human cognition typically involves thinking through abstract, fluid concepts rather than strictly using discrete linguistic tokens. Current reasoning models, however, are constrained to reasoning within the boundaries of human language, processing discrete token embeddings that represent fixed points in the semantic space. This discrete constraint restricts the expressive power and upper potential of such reasoning models, often causing incomplete exploration of reasoning paths, as standard Chain-of-Thought (CoT) methods rely on sampling one token per step. In this work, we introduce Soft Thinking, a training-free method that emulates human-like "soft" reasoning by generating soft, abstract concept tokens in a continuous concept space. These concept tokens are created by the probability-weighted mixture of token embeddings, which form the continuous concept space, enabling smooth transitions and richer representations that transcend traditional discrete boundaries. In essence, each generated concept token encapsulates multiple meanings from related discrete tokens, implicitly exploring various reasoning paths to converge effectively toward the correct answer. Empirical evaluations on diverse mathematical and coding benchmarks consistently demonstrate the effectiveness and efficiency of Soft Thinking, improving pass@1 accuracy by up to 2.48 points while simultaneously reducing token usage by up to 22.4% compared to standard CoT. Qualitative analysis further reveals that Soft Thinking outputs remain highly interpretable and readable, highlighting the potential of Soft Thinking to break the inherent bottleneck of discrete language-based reasoning. Code is available at https://github.com/eric-ai-lab/Soft-Thinking.