SwiReasoning : Commutation de la pensée dans les dimensions latente et explicite pour un raisonnement Pareto-supérieur dans les LLMs

SwiReasoning: Switch-Thinking in Latent and Explicit for Pareto-Superior Reasoning LLMs

October 6, 2025

papers.authors: Dachuan Shi, Abedelkadir Asi, Keying Li, Xiangchi Yuan, Leyan Pan, Wenke Lee, Wen Xiao

cs.AI

papers.abstract

Des travaux récents montrent qu'au-delà du raisonnement discret à travers des étapes explicites de chaîne de pensée, qui sont limitées par les frontières des langues naturelles, les grands modèles de langage (LLMs) peuvent également raisonner de manière continue dans l'espace latent, permettant une information plus riche par étape et améliorant ainsi l'efficacité des tokens. Malgré cette promesse, le raisonnement latent reste confronté à deux défis, en particulier dans des contextes sans entraînement : 1) le raisonnement purement latent élargit la distribution de recherche en maintenant plusieurs chemins implicites, ce qui diffuse la masse de probabilité, introduit du bruit et entrave la convergence vers une solution unique de haute confiance, nuisant ainsi à la précision ; et 2) la surréflexion persiste même sans texte explicite, gaspillant des tokens et dégradant l'efficacité. Pour résoudre ces problèmes, nous introduisons SwiReasoning, un cadre sans entraînement pour le raisonnement des LLMs, qui présente deux innovations clés : 1) SwiReasoning bascule dynamiquement entre un raisonnement explicite et latent, guidé par la confiance par bloc estimée à partir des tendances d'entropie dans les distributions de tokens suivants, pour équilibrer exploration et exploitation et favoriser une convergence rapide. 2) En limitant le nombre maximal de basculements entre blocs de réflexion, SwiReasoning freine la surréflexion et améliore l'efficacité des tokens pour des difficultés de problèmes variées. Sur des benchmarks largement utilisés en mathématiques et en STEM, SwiReasoning améliore systématiquement la précision moyenne de 1,5 % à 2,8 % pour des LLMs de raisonnement issus de différentes familles de modèles et échelles. De plus, sous des budgets contraints, SwiReasoning améliore l'efficacité moyenne des tokens de 56 % à 79 %, avec des gains plus importants à mesure que les budgets se resserrent.

English

Recent work shows that, beyond discrete reasoning through explicit chain-of-thought steps, which are limited by the boundaries of natural languages, large language models (LLMs) can also reason continuously in latent space, allowing richer information per step and thereby improving token efficiency. Despite this promise, latent reasoning still faces two challenges, especially in training-free settings: 1) purely latent reasoning broadens the search distribution by maintaining multiple implicit paths, which diffuses probability mass, introduces noise, and impedes convergence to a single high-confidence solution, thereby hurting accuracy; and 2) overthinking persists even without explicit text, wasting tokens and degrading efficiency. To address these issues, we introduce SwiReasoning, a training-free framework for LLM reasoning which features two key innovations: 1) SwiReasoning dynamically switches between explicit and latent reasoning, guided by block-wise confidence estimated from entropy trends in next-token distributions, to balance exploration and exploitation and promote timely convergence. 2) By limiting the maximum number of thinking-block switches, SwiReasoning curbs overthinking and improves token efficiency across varying problem difficulties. On widely used mathematics and STEM benchmarks, SwiReasoning consistently improves average accuracy by 1.5%-2.8% across reasoning LLMs of different model families and scales. Furthermore, under constrained budgets, SwiReasoning improves average token efficiency by 56%-79%, with larger gains as budgets tighten.