소프트 사고: 연속 개념 공간에서 대형 언어 모델의 추론 잠재력 개방

초록

인간의 인지 과정은 일반적으로 엄격하게 이산적인 언어 토큰을 사용하기보다는 추상적이고 유연한 개념을 통해 사고하는 방식으로 이루어집니다. 그러나 현재의 추론 모델들은 인간 언어의 경계 내에서만 추론하도록 제한되어 있으며, 의미 공간에서 고정된 점을 나타내는 이산적인 토큰 임베딩을 처리합니다. 이러한 이산적 제약은 추론 모델의 표현력과 잠재력을 제한하며, 표준적인 Chain-of-Thought(CoT) 방법이 단계별로 하나의 토큰을 샘플링하는 방식에 의존하기 때문에 추론 경로의 불완전한 탐색을 초래하는 경우가 많습니다. 본 연구에서는 연속적인 개념 공간에서 부드럽고 추상적인 개념 토큰을 생성함으로써 인간과 유사한 "소프트" 추론을 모방하는 학습이 필요 없는 방법인 Soft Thinking을 소개합니다. 이러한 개념 토큰은 토큰 임베딩의 확률 가중 혼합에 의해 생성되며, 이는 연속적인 개념 공간을 형성하여 전통적인 이산적 경계를 초월하는 부드러운 전환과 더 풍부한 표현을 가능하게 합니다. 본질적으로, 생성된 각 개념 토큰은 관련된 이산적 토큰들의 다중 의미를 내포함으로써 다양한 추론 경로를 암묵적으로 탐색하고 효과적으로 정답으로 수렴합니다. 다양한 수학 및 코딩 벤치마크에서의 실험적 평가는 Soft Thinking의 효과성과 효율성을 일관되게 입증하며, 표준 CoT와 비교하여 pass@1 정확도를 최대 2.48점 향상시키고 토큰 사용량을 최대 22.4% 감소시킵니다. 질적 분석은 또한 Soft Thinking의 출력이 여전히 높은 해석 가능성과 가독성을 유지함을 보여주며, 이는 이산적 언어 기반 추론의 고유한 병목 현상을 극복할 수 있는 Soft Thinking의 잠재력을 강조합니다. 코드는 https://github.com/eric-ai-lab/Soft-Thinking에서 확인할 수 있습니다.

English

Human cognition typically involves thinking through abstract, fluid concepts rather than strictly using discrete linguistic tokens. Current reasoning models, however, are constrained to reasoning within the boundaries of human language, processing discrete token embeddings that represent fixed points in the semantic space. This discrete constraint restricts the expressive power and upper potential of such reasoning models, often causing incomplete exploration of reasoning paths, as standard Chain-of-Thought (CoT) methods rely on sampling one token per step. In this work, we introduce Soft Thinking, a training-free method that emulates human-like "soft" reasoning by generating soft, abstract concept tokens in a continuous concept space. These concept tokens are created by the probability-weighted mixture of token embeddings, which form the continuous concept space, enabling smooth transitions and richer representations that transcend traditional discrete boundaries. In essence, each generated concept token encapsulates multiple meanings from related discrete tokens, implicitly exploring various reasoning paths to converge effectively toward the correct answer. Empirical evaluations on diverse mathematical and coding benchmarks consistently demonstrate the effectiveness and efficiency of Soft Thinking, improving pass@1 accuracy by up to 2.48 points while simultaneously reducing token usage by up to 22.4% compared to standard CoT. Qualitative analysis further reveals that Soft Thinking outputs remain highly interpretable and readable, highlighting the potential of Soft Thinking to break the inherent bottleneck of discrete language-based reasoning. Code is available at https://github.com/eric-ai-lab/Soft-Thinking.

소프트 사고: 연속 개념 공간에서 대형 언어 모델의 추론 잠재력 개방

Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space

초록

Support