Een Overzicht van Latent Redeneren

A Survey on Latent Reasoning

July 8, 2025

Auteurs: Rui-Jie Zhu, Tianhao Peng, Tianhao Cheng, Xingwei Qu, Jinfa Huang, Dawei Zhu, Hao Wang, Kaiwen Xue, Xuanliang Zhang, Yong Shan, Tianle Cai, Taylor Kergan, Assel Kembay, Andrew Smith, Chenghua Lin, Binh Nguyen, Yuqi Pan, Yuhong Chou, Zefan Cai, Zhenhe Wu, Yongchi Zhao, Tianyu Liu, Jian Yang, Wangchunshu Zhou, Chujie Zheng, Chongxuan Li, Yuyin Zhou, Zhoujun Li, Zhaoxiang Zhang, Jiaheng Liu, Ge Zhang, Wenhao Huang, Jason Eshraghian

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben indrukwekkende redeneervaardigheden getoond, vooral wanneer ze worden begeleid door expliciete keten-van-gedachten (CoT) redenering die tussenliggende stappen verbaal uitdrukt. Hoewel CoT zowel de interpreteerbaarheid als de nauwkeurigheid verbetert, beperkt de afhankelijkheid van natuurlijke taalredenering de expressieve bandbreedte van het model. Latente redenering lost dit knelpunt op door meerstaps inferentie volledig uit te voeren in de continue verborgen toestand van het model, waardoor toezicht op tokenniveau wordt geëlimineerd. Om onderzoek naar latente redenering vooruit te helpen, biedt dit overzicht een uitgebreid beeld van het opkomende veld van latente redenering. We beginnen met het onderzoeken van de fundamentele rol van neurale netwerklagen als het computationele substraat voor redenering, waarbij we benadrukken hoe hiërarchische representaties complexe transformaties ondersteunen. Vervolgens verkennen we diverse methodologieën voor latente redenering, waaronder activatie-gebaseerde herhaling, propagatie van verborgen toestanden en fine-tuning strategieën die expliciete redeneersporen comprimeren of internaliseren. Ten slotte bespreken we geavanceerde paradigma's zoals oneindig-diepe latente redenering via gemaskeerde diffusiemodellen, die wereldwijd consistente en omkeerbare redeneerprocessen mogelijk maken. Door deze perspectieven te verenigen, streven we ernaar het conceptuele landschap van latente redenering te verhelderen en toekomstige onderzoeksrichtingen aan de frontlinie van LLM-cognitie uit te stippelen. Een bijbehorende GitHub-repository met de nieuwste papers en repos is beschikbaar op: https://github.com/multimodal-art-projection/LatentCoT-Horizon/.

English

Large Language Models (LLMs) have demonstrated impressive reasoning capabilities, especially when guided by explicit chain-of-thought (CoT) reasoning that verbalizes intermediate steps. While CoT improves both interpretability and accuracy, its dependence on natural language reasoning limits the model's expressive bandwidth. Latent reasoning tackles this bottleneck by performing multi-step inference entirely in the model's continuous hidden state, eliminating token-level supervision. To advance latent reasoning research, this survey provides a comprehensive overview of the emerging field of latent reasoning. We begin by examining the foundational role of neural network layers as the computational substrate for reasoning, highlighting how hierarchical representations support complex transformations. Next, we explore diverse latent reasoning methodologies, including activation-based recurrence, hidden state propagation, and fine-tuning strategies that compress or internalize explicit reasoning traces. Finally, we discuss advanced paradigms such as infinite-depth latent reasoning via masked diffusion models, which enable globally consistent and reversible reasoning processes. By unifying these perspectives, we aim to clarify the conceptual landscape of latent reasoning and chart future directions for research at the frontier of LLM cognition. An associated GitHub repository collecting the latest papers and repos is available at: https://github.com/multimodal-art-projection/LatentCoT-Horizon/.