ThinkRouter: Efficiënt Redeneren via Routering van Denkprocessen tussen Latente en Discrete Ruimten
ThinkRouter: Efficient Reasoning via Routing Thinking between Latent and Discrete Spaces
February 12, 2026
Auteurs: Xin Xu, Tong Yu, Xiang Chen, Haoliang Wang, Julian McAuley, Saayan Mitra
cs.AI
Samenvatting
Recent onderzoek verkent latent redeneren om de redeneerefficiëntie te verbeteren door expliciete redeneertrajecten te vervangen door continue representaties in een latente ruimte, maar de effectiviteit varieert per setting. Analyse van de dynamiek van modelvertrouwen onder latent redeneren toont aan dat denktrajecten die eindigen in incorrecte antwoorden minder stappen met laag vertrouwen bevatten dan trajecten die eindigen in correcte antwoorden. Tegelijkertijd suggereren wij dat zachte embeddings, geaggregeerd door meerdere denkalternatieven met laag vertrouwen, ruis kunnen introduceren en verspreiden, wat leidt tot hoog vertrouwen in onbetrouwbare redeneertrajecten. Gemotiveerd door deze observaties wordt ThinkRouter voorgesteld, een routeringsmechanisme tijdens inferentie dat bewust is van vertrouwen, om hoog vertrouwen en ruis te vermijden voor efficiënt redeneren. ThinkRouter routeert het denken naar de discrete tokenruimte wanneer het modelvertrouwen laag is, en anders naar de latente ruimte. Uitgebreide experimenten op STEM-redeneer- en codeerbenchmarks met diverse grote redeneermodellen tonen aan dat ThinkRouter expliciete CoT, willekeurige routering en latent-redeneer-baselines overtreft in nauwkeurigheid, met een gemiddelde verbetering van 19,70 punten in Pass@1, terwijl de gegenereerde lengte met tot 15,55% wordt gereduceerd. Verdere uitgebreide analyse onthult dat ThinkRouter fouten afkomstig van expliciete CoT en latent redeneren kan kalibreren, en de generatie van end-of-thinking tokens versnelt door het modelvertrouwen globaal te verlagen.
English
Recent work explores latent reasoning to improve reasoning efficiency by replacing explicit reasoning trajectories with continuous representations in a latent space, yet its effectiveness varies across settings. Analysis of model confidence dynamics under latent reasoning reveals that thinking trajectories ending in incorrect answers contain fewer low-confidence steps than those ending in correct answers. Meanwhile, we suggest that soft embeddings aggregated by multiple low-confidence thinking alternatives may introduce and propagate noise, leading to high confidence in unreliable reasoning trajectories. Motivated by these observations, ThinkRouter, an inference-time confidence-aware routing mechanism is proposed to avoid high confidence and noise for efficient reasoning. ThinkRouter routes thinking to the discrete token space when model confidence is low, and to the latent space otherwise. Extensive experiments on STEM reasoning and coding benchmarks across diverse large reasoning models demonstrate that ThinkRouter outperforms explicit CoT, random routing, and latent reasoning baselines in terms of accuracy, achieving an average improvement of 19.70 points in Pass@1, while reducing generation length by up to 15.55%. Further comprehensive analysis reveals that ThinkRouter can calibrate errors arising from explicit CoT and latent reasoning, and accelerates end-of-thinking token generation by globally lowering model confidence.