ThinkRouter: Raciocínio Eficiente por meio do Roteamento do Pensamento entre Espaços Latentes e Discretos

ThinkRouter: Efficient Reasoning via Routing Thinking between Latent and Discrete Spaces

February 12, 2026

Autores: Xin Xu, Tong Yu, Xiang Chen, Haoliang Wang, Julian McAuley, Saayan Mitra

cs.AI

Resumo

Trabalhos recentes exploram o raciocínio latente para melhorar a eficiência do raciocínio, substituindo trajetórias explícitas de raciocínio por representações contínuas em um espaço latente, embora sua eficácia varie conforme os contextos. A análise da dinâmica da confiança do modelo sob raciocínio latente revela que trajetórias de pensamento que terminam em respostas incorretas contêm menos etapas de baixa confiança do que aquelas que terminam em respostas corretas. Paralelamente, sugerimos que *embeddings* suaves agregados por múltiplas alternativas de pensamento de baixa confiança podem introduzir e propagar ruído, levando a uma alta confiança em trajetórias de raciocínio não confiáveis. Motivados por essas observações, é proposto o ThinkRouter, um mecanismo de roteamento consciente da confiança durante a inferência, para evitar alta confiança e ruído, visando um raciocínio eficiente. O ThinkRouter direciona o pensamento para o espaço discreto de *tokens* quando a confiança do modelo é baixa, e para o espaço latente caso contrário. Experimentos extensos em benchmarks de raciocínio STEM e codificação, abrangendo diversos modelos de raciocínio de grande porte, demonstram que o ThinkRouter supera as linhas de base de CoT explícito, roteamento aleatório e raciocínio latente em termos de precisão, alcançando uma melhoria média de 19,70 pontos em Pass@1, enquanto reduz o comprimento da geração em até 15,55%. Uma análise abrangente adicional revela que o ThinkRouter pode calibrar erros decorrentes do CoT explícito e do raciocínio latente, e acelera a geração do *token* de fim do pensamento ao reduzir globalmente a confiança do modelo.

English

Recent work explores latent reasoning to improve reasoning efficiency by replacing explicit reasoning trajectories with continuous representations in a latent space, yet its effectiveness varies across settings. Analysis of model confidence dynamics under latent reasoning reveals that thinking trajectories ending in incorrect answers contain fewer low-confidence steps than those ending in correct answers. Meanwhile, we suggest that soft embeddings aggregated by multiple low-confidence thinking alternatives may introduce and propagate noise, leading to high confidence in unreliable reasoning trajectories. Motivated by these observations, ThinkRouter, an inference-time confidence-aware routing mechanism is proposed to avoid high confidence and noise for efficient reasoning. ThinkRouter routes thinking to the discrete token space when model confidence is low, and to the latent space otherwise. Extensive experiments on STEM reasoning and coding benchmarks across diverse large reasoning models demonstrate that ThinkRouter outperforms explicit CoT, random routing, and latent reasoning baselines in terms of accuracy, achieving an average improvement of 19.70 points in Pass@1, while reducing generation length by up to 15.55%. Further comprehensive analysis reveals that ThinkRouter can calibrate errors arising from explicit CoT and latent reasoning, and accelerates end-of-thinking token generation by globally lowering model confidence.