ThinkRouter: Effizientes Schließen durch Routing von Denkprozessen zwischen latenten und diskreten Räumen
ThinkRouter: Efficient Reasoning via Routing Thinking between Latent and Discrete Spaces
February 12, 2026
papers.authors: Xin Xu, Tong Yu, Xiang Chen, Haoliang Wang, Julian McAuley, Saayan Mitra
cs.AI
papers.abstract
Aktuelle Forschungsarbeiten untersuchen latentes Reasoning, um die Reasoning-Effizienz durch den Ersatz expliziter Reasoning-Pfade mit kontinuierlichen Repräsentationen in einem latenten Raum zu verbessern, doch deren Wirksamkeit variiert je nach Setting. Eine Analyse der Modellkonfidenzdynamik unter latentem Reasoning zeigt, dass Denkpfade, die mit falschen Antworten enden, weniger Schritte mit niedriger Konfidenz aufweisen als solche, die zu korrekten Antworten führen. Gleichzeitig legen wir nahe, dass Soft-Embeddings, die durch mehrere Denkalternativen mit niedriger Konfidenz aggregiert werden, Rauschen einführen und verstärken können, was zu hoher Konfidenz in unzuverlässigen Reasoning-Pfaden führt. Motiviert durch diese Beobachtungen wird ThinkRouter vorgeschlagen – ein konfidenzsensitives Routing-Mechanismus zur Inferenzzeit, der hohe Konfidenz und Rauschen zur Effizienzsteigerung des Reasonings vermeidet. ThinkRouter leitet das Denken in den diskreten Token-Raum um, wenn die Modellkonfidenz niedrig ist, und ansonsten in den latenten Raum. Umfangreiche Experimente mit STEM-Reasoning- und Coding-Benchmarks über diverse große Reasoning-Modelle hinweg zeigen, dass ThinkRouter explizite CoT-, zufälliges Routing- und latente Reasoning-Baselines in puncto Genauigkeit übertrifft und eine durchschnittliche Steigerung von 19,70 Punkten in Pass@1 erreicht, bei gleichzeitiger Reduzierung der Generierungslänge um bis zu 15,55%. Eine weiterführende umfassende Analyse offenbart, dass ThinkRouter Fehler, die aus explizitem CoT und latentem Reasoning entstehen, kalibrieren kann und die Generierung von End-of-Thinking-Tokens beschleunigt, indem global die Modellkonfidenz gesenkt wird.
English
Recent work explores latent reasoning to improve reasoning efficiency by replacing explicit reasoning trajectories with continuous representations in a latent space, yet its effectiveness varies across settings. Analysis of model confidence dynamics under latent reasoning reveals that thinking trajectories ending in incorrect answers contain fewer low-confidence steps than those ending in correct answers. Meanwhile, we suggest that soft embeddings aggregated by multiple low-confidence thinking alternatives may introduce and propagate noise, leading to high confidence in unreliable reasoning trajectories. Motivated by these observations, ThinkRouter, an inference-time confidence-aware routing mechanism is proposed to avoid high confidence and noise for efficient reasoning. ThinkRouter routes thinking to the discrete token space when model confidence is low, and to the latent space otherwise. Extensive experiments on STEM reasoning and coding benchmarks across diverse large reasoning models demonstrate that ThinkRouter outperforms explicit CoT, random routing, and latent reasoning baselines in terms of accuracy, achieving an average improvement of 19.70 points in Pass@1, while reducing generation length by up to 15.55%. Further comprehensive analysis reveals that ThinkRouter can calibrate errors arising from explicit CoT and latent reasoning, and accelerates end-of-thinking token generation by globally lowering model confidence.