Latente Chain-of-Thought als Planning: Het Ontkoppelen van Redeneren en Verbalisatie

Latent Chain-of-Thought as Planning: Decoupling Reasoning from Verbalization

January 29, 2026

Auteurs: Jiecong Wang, Hao Peng, Chunyang Liu

cs.AI

Samenvatting

Chain-of-Thought (CoT) stelt grote taalmodellen (LLM's) in staat om complexe problemen aan te pakken, maar wordt nog steeds beperkt door de rekenkosten en het ineenstorten van redeneerpaden wanneer deze zijn verankerd in discrete tokenruimtes. Recente latente redeneerbenaderingen proberen de efficiëntie te optimaliseren door redenering uit te voeren binnen continue verborgen toestanden. Deze methoden functioneren echter doorgaans als ondoorzichtige end-to-end mapping van expliciete redeneerstappen naar latente toestanden en vereisen vaak een vooraf gedefinieerd aantal latente stappen tijdens de inferentie. In dit werk introduceren we PLaT (Planning with Latent Thoughts), een raamwerk dat latent redeneren herformuleert als planning door redenering fundamenteel te ontkoppelen van verbalisatie. Wij modelleren redeneren als een deterministisch traject van latente plannings-toestanden, terwijl een aparte Decoder deze gedachten indien nodig verankert in tekst. Deze ontkoppeling stelt het model in staat om dynamisch te bepalen wanneer het moet stoppen met redeneren, in plaats van te vertrouwen op vaste hyperparameters. Empirische resultaten op wiskundige benchmarks onthullen een duidelijke wisselwerking: hoewel PLaT een lagere 'greedy'-nauwkeurigheid bereikt dan de baseline-modellen, demonstreert het superieure schaalbaarheid wat betreft redeneerdiversiteit. Dit geeft aan dat PLaT een robuuste, bredere oplossingsruimte aanleert, wat een transparante en schaalbare basis biedt voor zoekstrategieën tijdens de inferentie.

English

Chain-of-Thought (CoT) empowers Large Language Models (LLMs) to tackle complex problems, but remains constrained by the computational cost and reasoning path collapse when grounded in discrete token spaces. Recent latent reasoning approaches attempt to optimize efficiency by performing reasoning within continuous hidden states. However, these methods typically operate as opaque end-to-end mappings from explicit reasoning steps to latent states, and often require a pre-defined number of latent steps during inference. In this work, we introduce PLaT (Planning with Latent Thoughts), a framework that reformulates latent reasoning as planning by fundamentally decouple reasoning from verbalization. We model reasoning as a deterministic trajectory of latent planning states, while a separate Decoder grounds these thoughts into text when necessary. This decoupling allows the model to dynamically determine when to terminate reasoning rather than relying on fixed hyperparameters. Empirical results on mathematical benchmarks reveal a distinct trade-off: while PLaT achieves lower greedy accuracy than baselines, it demonstrates superior scalability in terms of reasoning diversity. This indicates that PLaT learns a robust, broader solution space, offering a transparent and scalable foundation for inference-time search.