SwiReasoning: Schaltdenken in latenten und expliziten Bereichen für Pareto-superiore Reasoning-LLMs

SwiReasoning: Switch-Thinking in Latent and Explicit for Pareto-Superior Reasoning LLMs

October 6, 2025

papers.authors: Dachuan Shi, Abedelkadir Asi, Keying Li, Xiangchi Yuan, Leyan Pan, Wenke Lee, Wen Xiao

cs.AI

papers.abstract

Aktuelle Arbeiten zeigen, dass große Sprachmodelle (LLMs) über die diskrete Argumentation durch explizite Schritte der Gedankenkette hinaus, die durch die Grenzen natürlicher Sprachen begrenzt sind, auch kontinuierlich im latenten Raum argumentieren können. Dies ermöglicht eine reichhaltigere Information pro Schritt und verbessert dadurch die Token-Effizienz. Trotz dieses Potenzials steht die latente Argumentation weiterhin vor zwei Herausforderungen, insbesondere in trainingsfreien Umgebungen: 1) Rein latente Argumentation erweitert die Suchverteilung, indem sie mehrere implizite Pfade beibehält, was die Wahrscheinlichkeitsmasse verteilt, Rauschen einführt und die Konvergenz zu einer einzigen hochvertrauenswürdigen Lösung behindert, was die Genauigkeit beeinträchtigt; und 2) Überdenken bleibt auch ohne expliziten Text bestehen, verschwendet Tokens und verschlechtert die Effizienz. Um diese Probleme zu lösen, führen wir SwiReasoning ein, ein trainingsfreies Framework für die Argumentation von LLMs, das zwei Schlüsselinnovationen aufweist: 1) SwiReasoning wechselt dynamisch zwischen expliziter und latenter Argumentation, geleitet durch blockweise Konfidenz, die aus Entropietrends in den nächsten Token-Verteilungen geschätzt wird, um Exploration und Exploitation auszugleichen und eine rechtzeitige Konvergenz zu fördern. 2) Durch die Begrenzung der maximalen Anzahl von Denkblock-Wechseln reduziert SwiReasoning Überdenken und verbessert die Token-Effizienz über verschiedene Problem-Schwierigkeitsgrade hinweg. Auf weit verbreiteten Mathematik- und STEM-Benchmarks verbessert SwiReasoning die durchschnittliche Genauigkeit konsistent um 1,5%-2,8% über Argumentations-LLMs verschiedener Modellfamilien und -größen hinweg. Darüber hinaus verbessert SwiReasoning unter begrenzten Budgets die durchschnittliche Token-Effizienz um 56%-79%, mit größeren Gewinnen, wenn die Budgets knapper werden.

English

Recent work shows that, beyond discrete reasoning through explicit chain-of-thought steps, which are limited by the boundaries of natural languages, large language models (LLMs) can also reason continuously in latent space, allowing richer information per step and thereby improving token efficiency. Despite this promise, latent reasoning still faces two challenges, especially in training-free settings: 1) purely latent reasoning broadens the search distribution by maintaining multiple implicit paths, which diffuses probability mass, introduces noise, and impedes convergence to a single high-confidence solution, thereby hurting accuracy; and 2) overthinking persists even without explicit text, wasting tokens and degrading efficiency. To address these issues, we introduce SwiReasoning, a training-free framework for LLM reasoning which features two key innovations: 1) SwiReasoning dynamically switches between explicit and latent reasoning, guided by block-wise confidence estimated from entropy trends in next-token distributions, to balance exploration and exploitation and promote timely convergence. 2) By limiting the maximum number of thinking-block switches, SwiReasoning curbs overthinking and improves token efficiency across varying problem difficulties. On widely used mathematics and STEM benchmarks, SwiReasoning consistently improves average accuracy by 1.5%-2.8% across reasoning LLMs of different model families and scales. Furthermore, under constrained budgets, SwiReasoning improves average token efficiency by 56%-79%, with larger gains as budgets tighten.