Una Rassegna sul Ragionamento Latente

A Survey on Latent Reasoning

July 8, 2025

Autori: Rui-Jie Zhu, Tianhao Peng, Tianhao Cheng, Xingwei Qu, Jinfa Huang, Dawei Zhu, Hao Wang, Kaiwen Xue, Xuanliang Zhang, Yong Shan, Tianle Cai, Taylor Kergan, Assel Kembay, Andrew Smith, Chenghua Lin, Binh Nguyen, Yuqi Pan, Yuhong Chou, Zefan Cai, Zhenhe Wu, Yongchi Zhao, Tianyu Liu, Jian Yang, Wangchunshu Zhou, Chujie Zheng, Chongxuan Li, Yuyin Zhou, Zhoujun Li, Zhaoxiang Zhang, Jiaheng Liu, Ge Zhang, Wenhao Huang, Jason Eshraghian

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno dimostrato impressionanti capacità di ragionamento, specialmente quando guidati da un ragionamento esplicito a catena di pensiero (CoT) che verbalizza i passaggi intermedi. Sebbene il CoT migliori sia l'interpretabilità che l'accuratezza, la sua dipendenza dal ragionamento in linguaggio naturale limita la larghezza di banda espressiva del modello. Il ragionamento latente affronta questo collo di bottiglia eseguendo inferenze a più passaggi interamente nello stato nascosto continuo del modello, eliminando la supervisione a livello di token. Per far progredire la ricerca sul ragionamento latente, questa rassegna fornisce una panoramica completa del campo emergente del ragionamento latente. Iniziamo esaminando il ruolo fondamentale degli strati delle reti neurali come substrato computazionale per il ragionamento, evidenziando come le rappresentazioni gerarchiche supportino trasformazioni complesse. Successivamente, esploriamo diverse metodologie di ragionamento latente, tra cui la ricorrenza basata sull'attivazione, la propagazione dello stato nascosto e le strategie di fine-tuning che comprimono o internalizzano le tracce di ragionamento esplicito. Infine, discutiamo paradigmi avanzati come il ragionamento latente a profondità infinita tramite modelli di diffusione mascherati, che consentono processi di ragionamento globalmente consistenti e reversibili. Unificando queste prospettive, miriamo a chiarire il panorama concettuale del ragionamento latente e a tracciare future direzioni per la ricerca alla frontiera della cognizione dei LLM. Un repository GitHub associato che raccoglie gli ultimi articoli e repository è disponibile all'indirizzo: https://github.com/multimodal-art-projection/LatentCoT-Horizon/.

English

Large Language Models (LLMs) have demonstrated impressive reasoning capabilities, especially when guided by explicit chain-of-thought (CoT) reasoning that verbalizes intermediate steps. While CoT improves both interpretability and accuracy, its dependence on natural language reasoning limits the model's expressive bandwidth. Latent reasoning tackles this bottleneck by performing multi-step inference entirely in the model's continuous hidden state, eliminating token-level supervision. To advance latent reasoning research, this survey provides a comprehensive overview of the emerging field of latent reasoning. We begin by examining the foundational role of neural network layers as the computational substrate for reasoning, highlighting how hierarchical representations support complex transformations. Next, we explore diverse latent reasoning methodologies, including activation-based recurrence, hidden state propagation, and fine-tuning strategies that compress or internalize explicit reasoning traces. Finally, we discuss advanced paradigms such as infinite-depth latent reasoning via masked diffusion models, which enable globally consistent and reversible reasoning processes. By unifying these perspectives, we aim to clarify the conceptual landscape of latent reasoning and chart future directions for research at the frontier of LLM cognition. An associated GitHub repository collecting the latest papers and repos is available at: https://github.com/multimodal-art-projection/LatentCoT-Horizon/.