Zacht Denken: Het Ontsluiten van het Redeneerpotentieel van LLM's in Continue Conceptruimte

Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space

May 21, 2025

Auteurs: Zhen Zhang, Xuehai He, Weixiang Yan, Ao Shen, Chenyang Zhao, Shuohang Wang, Yelong Shen, Xin Eric Wang

cs.AI

Samenvatting

Menselijke cognitie omvat doorgaans het denken in abstracte, vloeiende concepten in plaats van strikt het gebruik van discrete linguïstische tokens. Huidige redeneermodellen zijn echter beperkt tot redeneren binnen de grenzen van menselijke taal, waarbij ze discrete token-embeddings verwerken die vaste punten in de semantische ruimte vertegenwoordigen. Deze discrete beperking vermindert de expressieve kracht en het maximale potentieel van dergelijke redeneermodellen, wat vaak leidt tot onvolledige verkenning van redeneerpaden, aangezien standaard Chain-of-Thought (CoT)-methoden afhankelijk zijn van het bemonsteren van één token per stap. In dit werk introduceren we Soft Thinking, een trainingsvrije methode die menselijk "zacht" redeneren nabootst door zachte, abstracte concepttokens te genereren in een continue conceptruimte. Deze concepttokens worden gecreëerd door de waarschijnlijkheidsgewogen mengeling van token-embeddings, die de continue conceptruimte vormen, waardoor soepele overgangen en rijkere representaties mogelijk worden die traditionele discrete grenzen overstijgen. In essentie omvat elk gegenereerd concepttoken meerdere betekenissen van gerelateerde discrete tokens, waarbij impliciet verschillende redeneerpaden worden verkend om effectief naar het juiste antwoord te convergeren. Empirische evaluaties op diverse wiskundige en programmeerbenchmarks tonen consistent de effectiviteit en efficiëntie van Soft Thinking aan, waarbij de pass@1-nauwkeurigheid met maximaal 2,48 punten wordt verbeterd en tegelijkertijd het tokengebruik met maximaal 22,4% wordt verminderd in vergelijking met standaard CoT. Kwalitatieve analyse laat verder zien dat de uitvoer van Soft Thinking zeer interpreteerbaar en leesbaar blijft, wat het potentieel van Soft Thinking benadrukt om de inherente bottleneck van discreet taalgebaseerd redeneren te doorbreken. Code is beschikbaar op https://github.com/eric-ai-lab/Soft-Thinking.

English

Human cognition typically involves thinking through abstract, fluid concepts rather than strictly using discrete linguistic tokens. Current reasoning models, however, are constrained to reasoning within the boundaries of human language, processing discrete token embeddings that represent fixed points in the semantic space. This discrete constraint restricts the expressive power and upper potential of such reasoning models, often causing incomplete exploration of reasoning paths, as standard Chain-of-Thought (CoT) methods rely on sampling one token per step. In this work, we introduce Soft Thinking, a training-free method that emulates human-like "soft" reasoning by generating soft, abstract concept tokens in a continuous concept space. These concept tokens are created by the probability-weighted mixture of token embeddings, which form the continuous concept space, enabling smooth transitions and richer representations that transcend traditional discrete boundaries. In essence, each generated concept token encapsulates multiple meanings from related discrete tokens, implicitly exploring various reasoning paths to converge effectively toward the correct answer. Empirical evaluations on diverse mathematical and coding benchmarks consistently demonstrate the effectiveness and efficiency of Soft Thinking, improving pass@1 accuracy by up to 2.48 points while simultaneously reducing token usage by up to 22.4% compared to standard CoT. Qualitative analysis further reveals that Soft Thinking outputs remain highly interpretable and readable, highlighting the potential of Soft Thinking to break the inherent bottleneck of discrete language-based reasoning. Code is available at https://github.com/eric-ai-lab/Soft-Thinking.