SwiReasoning: Pensamiento de Cambio en lo Latente y Explícito para el Razonamiento Pareto-Superior en LLMs

SwiReasoning: Switch-Thinking in Latent and Explicit for Pareto-Superior Reasoning LLMs

October 6, 2025

Autores: Dachuan Shi, Abedelkadir Asi, Keying Li, Xiangchi Yuan, Leyan Pan, Wenke Lee, Wen Xiao

cs.AI

Resumen

Trabajos recientes muestran que, más allá del razonamiento discreto a través de pasos explícitos de cadena de pensamiento, los cuales están limitados por los límites de los lenguajes naturales, los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) también pueden razonar de manera continua en el espacio latente, permitiendo una información más rica por paso y mejorando así la eficiencia de los tokens. A pesar de esta promesa, el razonamiento latente aún enfrenta dos desafíos, especialmente en entornos sin entrenamiento: 1) el razonamiento puramente latente amplía la distribución de búsqueda al mantener múltiples caminos implícitos, lo que difunde la masa de probabilidad, introduce ruido y dificulta la convergencia hacia una única solución de alta confianza, perjudicando la precisión; y 2) el sobrepensamiento persiste incluso sin texto explícito, desperdiciando tokens y degradando la eficiencia. Para abordar estos problemas, presentamos SwiReasoning, un marco sin entrenamiento para el razonamiento en LLMs que incluye dos innovaciones clave: 1) SwiReasoning cambia dinámicamente entre el razonamiento explícito y el latente, guiado por la confianza por bloques estimada a partir de las tendencias de entropía en las distribuciones de los siguientes tokens, para equilibrar la exploración y la explotación y promover una convergencia oportuna. 2) Al limitar el número máximo de cambios entre bloques de pensamiento, SwiReasoning controla el sobrepensamiento y mejora la eficiencia de los tokens en problemas de diversas dificultades. En puntos de referencia ampliamente utilizados en matemáticas y STEM, SwiReasoning mejora consistentemente la precisión promedio en un 1.5%-2.8% en LLMs de razonamiento de diferentes familias y escalas de modelos. Además, bajo presupuestos restringidos, SwiReasoning mejora la eficiencia promedio de los tokens en un 56%-79%, con mayores ganancias a medida que los presupuestos se ajustan.

English

Recent work shows that, beyond discrete reasoning through explicit chain-of-thought steps, which are limited by the boundaries of natural languages, large language models (LLMs) can also reason continuously in latent space, allowing richer information per step and thereby improving token efficiency. Despite this promise, latent reasoning still faces two challenges, especially in training-free settings: 1) purely latent reasoning broadens the search distribution by maintaining multiple implicit paths, which diffuses probability mass, introduces noise, and impedes convergence to a single high-confidence solution, thereby hurting accuracy; and 2) overthinking persists even without explicit text, wasting tokens and degrading efficiency. To address these issues, we introduce SwiReasoning, a training-free framework for LLM reasoning which features two key innovations: 1) SwiReasoning dynamically switches between explicit and latent reasoning, guided by block-wise confidence estimated from entropy trends in next-token distributions, to balance exploration and exploitation and promote timely convergence. 2) By limiting the maximum number of thinking-block switches, SwiReasoning curbs overthinking and improves token efficiency across varying problem difficulties. On widely used mathematics and STEM benchmarks, SwiReasoning consistently improves average accuracy by 1.5%-2.8% across reasoning LLMs of different model families and scales. Furthermore, under constrained budgets, SwiReasoning improves average token efficiency by 56%-79%, with larger gains as budgets tighten.