SwiReasoning: Schakel-denken in Latente en Expliciete Ruimten voor Pareto-Superieur Redeneren in LLM's

SwiReasoning: Switch-Thinking in Latent and Explicit for Pareto-Superior Reasoning LLMs

October 6, 2025

Auteurs: Dachuan Shi, Abedelkadir Asi, Keying Li, Xiangchi Yuan, Leyan Pan, Wenke Lee, Wen Xiao

cs.AI

Samenvatting

Recent werk toont aan dat, naast discreet redeneren via expliciete keten-van-gedachten-stappen, die beperkt worden door de grenzen van natuurlijke talen, grote taalmodellen (LLMs) ook continu kunnen redeneren in latente ruimte, wat rijkere informatie per stap mogelijk maakt en daardoor de token-efficiëntie verbetert. Ondanks deze belofte, blijft latent redeneren twee uitdagingen kennen, vooral in trainingsvrije settings: 1) puur latent redeneren verbreedt de zoekverdeling door meerdere impliciete paden te behouden, wat de waarschijnlijkheidsmassa verspreidt, ruis introduceert en de convergentie naar een enkele oplossing met hoge betrouwbaarheid belemmert, waardoor de nauwkeurigheid wordt geschaad; en 2) overdenken blijft bestaan zelfs zonder expliciete tekst, wat tokens verspilt en de efficiëntie vermindert. Om deze problemen aan te pakken, introduceren we SwiReasoning, een trainingsvrij raamwerk voor LLM-redenering dat twee belangrijke innovaties bevat: 1) SwiReasoning schakelt dynamisch tussen expliciet en latent redeneren, geleid door blokgewijze betrouwbaarheid geschat uit entropietrends in volgende-token-verdelingen, om exploratie en exploitatie in balans te brengen en tijdige convergentie te bevorderen. 2) Door het maximale aantal denkblok-schakelingen te beperken, beteugelt SwiReasoning overdenken en verbetert het de token-efficiëntie over verschillende probleem moeilijkheden. Op veelgebruikte wiskunde- en STEM-benchmarks verbetert SwiReasoning consistent de gemiddelde nauwkeurigheid met 1,5%-2,8% over redenerende LLMs van verschillende modelfamilies en schalen. Bovendien verbetert SwiReasoning onder beperkte budgetten de gemiddelde token-efficiëntie met 56%-79%, met grotere winsten naarmate de budgetten krapper worden.

English

Recent work shows that, beyond discrete reasoning through explicit chain-of-thought steps, which are limited by the boundaries of natural languages, large language models (LLMs) can also reason continuously in latent space, allowing richer information per step and thereby improving token efficiency. Despite this promise, latent reasoning still faces two challenges, especially in training-free settings: 1) purely latent reasoning broadens the search distribution by maintaining multiple implicit paths, which diffuses probability mass, introduces noise, and impedes convergence to a single high-confidence solution, thereby hurting accuracy; and 2) overthinking persists even without explicit text, wasting tokens and degrading efficiency. To address these issues, we introduce SwiReasoning, a training-free framework for LLM reasoning which features two key innovations: 1) SwiReasoning dynamically switches between explicit and latent reasoning, guided by block-wise confidence estimated from entropy trends in next-token distributions, to balance exploration and exploitation and promote timely convergence. 2) By limiting the maximum number of thinking-block switches, SwiReasoning curbs overthinking and improves token efficiency across varying problem difficulties. On widely used mathematics and STEM benchmarks, SwiReasoning consistently improves average accuracy by 1.5%-2.8% across reasoning LLMs of different model families and scales. Furthermore, under constrained budgets, SwiReasoning improves average token efficiency by 56%-79%, with larger gains as budgets tighten.