SwiReasoning: Переключение мышления между латентным и явным для парето-оптимального рассуждения в языковых моделях

SwiReasoning: Switch-Thinking in Latent and Explicit for Pareto-Superior Reasoning LLMs

October 6, 2025

Авторы: Dachuan Shi, Abedelkadir Asi, Keying Li, Xiangchi Yuan, Leyan Pan, Wenke Lee, Wen Xiao

cs.AI

Аннотация

Недавние исследования показывают, что, помимо дискретного рассуждения через явные шаги цепочки мыслей, которые ограничены рамками естественных языков, крупные языковые модели (LLM) также способны рассуждать непрерывно в латентном пространстве, что позволяет передавать более богатую информацию на каждом шаге и тем самым повышать эффективность использования токенов. Несмотря на этот потенциал, латентное рассуждение всё ещё сталкивается с двумя проблемами, особенно в условиях, не требующих обучения: 1) чисто латентное рассуждение расширяет распределение поиска за счёт поддержания множества неявных путей, что рассеивает вероятностную массу, вносит шум и затрудняет сходимость к единственному решению с высокой уверенностью, тем самым снижая точность; 2) "переобдумывание" сохраняется даже без явного текста, что приводит к растрате токенов и снижению эффективности. Для решения этих проблем мы представляем SwiReasoning, обучение-независимый фреймворк для рассуждения в LLM, который включает два ключевых нововведения: 1) SwiReasoning динамически переключается между явным и латентным рассуждением, руководствуясь блочной уверенностью, оцениваемой по тенденциям энтропии в распределениях следующих токенов, чтобы сбалансировать исследование и использование и способствовать своевременной сходимости. 2) Ограничивая максимальное количество переключений между блоками рассуждения, SwiReasoning предотвращает "переобдумывание" и повышает эффективность использования токенов для задач различной сложности. На широко используемых математических и STEM-бенчмарках SwiReasoning стабильно повышает среднюю точность на 1,5%-2,8% для различных семейств и масштабов моделей, ориентированных на рассуждение. Кроме того, при ограниченных бюджетах SwiReasoning улучшает среднюю эффективность использования токенов на 56%-79%, с большим приростом по мере ужесточения бюджетов.

English

Recent work shows that, beyond discrete reasoning through explicit chain-of-thought steps, which are limited by the boundaries of natural languages, large language models (LLMs) can also reason continuously in latent space, allowing richer information per step and thereby improving token efficiency. Despite this promise, latent reasoning still faces two challenges, especially in training-free settings: 1) purely latent reasoning broadens the search distribution by maintaining multiple implicit paths, which diffuses probability mass, introduces noise, and impedes convergence to a single high-confidence solution, thereby hurting accuracy; and 2) overthinking persists even without explicit text, wasting tokens and degrading efficiency. To address these issues, we introduce SwiReasoning, a training-free framework for LLM reasoning which features two key innovations: 1) SwiReasoning dynamically switches between explicit and latent reasoning, guided by block-wise confidence estimated from entropy trends in next-token distributions, to balance exploration and exploitation and promote timely convergence. 2) By limiting the maximum number of thinking-block switches, SwiReasoning curbs overthinking and improves token efficiency across varying problem difficulties. On widely used mathematics and STEM benchmarks, SwiReasoning consistently improves average accuracy by 1.5%-2.8% across reasoning LLMs of different model families and scales. Furthermore, under constrained budgets, SwiReasoning improves average token efficiency by 56%-79%, with larger gains as budgets tighten.