Una Revisión sobre el Razonamiento Latente

A Survey on Latent Reasoning

July 8, 2025

Autores: Rui-Jie Zhu, Tianhao Peng, Tianhao Cheng, Xingwei Qu, Jinfa Huang, Dawei Zhu, Hao Wang, Kaiwen Xue, Xuanliang Zhang, Yong Shan, Tianle Cai, Taylor Kergan, Assel Kembay, Andrew Smith, Chenghua Lin, Binh Nguyen, Yuqi Pan, Yuhong Chou, Zefan Cai, Zhenhe Wu, Yongchi Zhao, Tianyu Liu, Jian Yang, Wangchunshu Zhou, Chujie Zheng, Chongxuan Li, Yuyin Zhou, Zhoujun Li, Zhaoxiang Zhang, Jiaheng Liu, Ge Zhang, Wenhao Huang, Jason Eshraghian

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han demostrado capacidades de razonamiento impresionantes, especialmente cuando se guían por un razonamiento explícito de cadena de pensamiento (CoT, por sus siglas en inglés) que verbaliza los pasos intermedios. Aunque el CoT mejora tanto la interpretabilidad como la precisión, su dependencia del razonamiento en lenguaje natural limita el ancho de banda expresivo del modelo. El razonamiento latente aborda este cuello de botella al realizar inferencias de múltiples pasos completamente en el estado oculto continuo del modelo, eliminando la supervisión a nivel de tokens. Para avanzar en la investigación del razonamiento latente, este estudio proporciona una visión general completa del campo emergente del razonamiento latente. Comenzamos examinando el papel fundamental de las capas de redes neuronales como sustrato computacional para el razonamiento, destacando cómo las representaciones jerárquicas apoyan transformaciones complejas. A continuación, exploramos diversas metodologías de razonamiento latente, incluyendo la recurrencia basada en activaciones, la propagación de estados ocultos y estrategias de ajuste fino que comprimen o internalizan trazas de razonamiento explícito. Finalmente, discutimos paradigmas avanzados como el razonamiento latente de profundidad infinita mediante modelos de difusión enmascarados, que permiten procesos de razonamiento globalmente consistentes y reversibles. Al unificar estas perspectivas, nuestro objetivo es aclarar el panorama conceptual del razonamiento latente y trazar futuras direcciones para la investigación en la frontera de la cognición de los LLMs. Un repositorio de GitHub asociado que recopila los últimos artículos y repositorios está disponible en: https://github.com/multimodal-art-projection/LatentCoT-Horizon/.

English

Large Language Models (LLMs) have demonstrated impressive reasoning capabilities, especially when guided by explicit chain-of-thought (CoT) reasoning that verbalizes intermediate steps. While CoT improves both interpretability and accuracy, its dependence on natural language reasoning limits the model's expressive bandwidth. Latent reasoning tackles this bottleneck by performing multi-step inference entirely in the model's continuous hidden state, eliminating token-level supervision. To advance latent reasoning research, this survey provides a comprehensive overview of the emerging field of latent reasoning. We begin by examining the foundational role of neural network layers as the computational substrate for reasoning, highlighting how hierarchical representations support complex transformations. Next, we explore diverse latent reasoning methodologies, including activation-based recurrence, hidden state propagation, and fine-tuning strategies that compress or internalize explicit reasoning traces. Finally, we discuss advanced paradigms such as infinite-depth latent reasoning via masked diffusion models, which enable globally consistent and reversible reasoning processes. By unifying these perspectives, we aim to clarify the conceptual landscape of latent reasoning and chart future directions for research at the frontier of LLM cognition. An associated GitHub repository collecting the latest papers and repos is available at: https://github.com/multimodal-art-projection/LatentCoT-Horizon/.