SwiReasoning: Pensiero a Scambio tra Latente ed Esplicito per il Ragionamento Pareto-Superiore nei Modelli Linguistici di Grande Dimensione

SwiReasoning: Switch-Thinking in Latent and Explicit for Pareto-Superior Reasoning LLMs

October 6, 2025

Autori: Dachuan Shi, Abedelkadir Asi, Keying Li, Xiangchi Yuan, Leyan Pan, Wenke Lee, Wen Xiao

cs.AI

Abstract

Recenti studi dimostrano che, oltre al ragionamento discreto attraverso passaggi espliciti di catena di pensiero, che sono limitati dai confini delle lingue naturali, i grandi modelli linguistici (LLM) possono anche ragionare in modo continuo nello spazio latente, permettendo una maggiore ricchezza di informazioni per ogni passo e migliorando così l'efficienza dei token. Nonostante questa promessa, il ragionamento latente affronta ancora due sfide, specialmente in contesti privi di addestramento: 1) il ragionamento puramente latente amplia la distribuzione di ricerca mantenendo percorsi impliciti multipli, il quale diffonde la massa di probabilità, introduce rumore e ostacola la convergenza verso una singola soluzione ad alta confidenza, danneggiando così l'accuratezza; e 2) il sovrapensiero persiste anche senza testo esplicito, sprecando token e degradando l'efficienza. Per affrontare questi problemi, introduciamo SwiReasoning, un framework privo di addestramento per il ragionamento degli LLM che presenta due innovazioni chiave: 1) SwiReasoning passa dinamicamente tra ragionamento esplicito e latente, guidato dalla confidenza a livello di blocco stimata dalle tendenze di entropia nelle distribuzioni dei token successivi, per bilanciare esplorazione e sfruttamento e promuovere una convergenza tempestiva. 2) Limitando il numero massimo di passaggi tra blocchi di pensiero, SwiReasoning riduce il sovrapensiero e migliora l'efficienza dei token su vari livelli di difficoltà dei problemi. Su benchmark ampiamente utilizzati in matematica e STEM, SwiReasoning migliora costantemente l'accuratezza media dell'1,5%-2,8% tra LLM di ragionamento di diverse famiglie e scale di modelli. Inoltre, con budget limitati, SwiReasoning migliora l'efficienza media dei token del 56%-79%, con guadagni maggiori man mano che i budget si restringono.

English

Recent work shows that, beyond discrete reasoning through explicit chain-of-thought steps, which are limited by the boundaries of natural languages, large language models (LLMs) can also reason continuously in latent space, allowing richer information per step and thereby improving token efficiency. Despite this promise, latent reasoning still faces two challenges, especially in training-free settings: 1) purely latent reasoning broadens the search distribution by maintaining multiple implicit paths, which diffuses probability mass, introduces noise, and impedes convergence to a single high-confidence solution, thereby hurting accuracy; and 2) overthinking persists even without explicit text, wasting tokens and degrading efficiency. To address these issues, we introduce SwiReasoning, a training-free framework for LLM reasoning which features two key innovations: 1) SwiReasoning dynamically switches between explicit and latent reasoning, guided by block-wise confidence estimated from entropy trends in next-token distributions, to balance exploration and exploitation and promote timely convergence. 2) By limiting the maximum number of thinking-block switches, SwiReasoning curbs overthinking and improves token efficiency across varying problem difficulties. On widely used mathematics and STEM benchmarks, SwiReasoning consistently improves average accuracy by 1.5%-2.8% across reasoning LLMs of different model families and scales. Furthermore, under constrained budgets, SwiReasoning improves average token efficiency by 56%-79%, with larger gains as budgets tighten.