Uma Análise sobre Raciocínio Latente

A Survey on Latent Reasoning

July 8, 2025

Autores: Rui-Jie Zhu, Tianhao Peng, Tianhao Cheng, Xingwei Qu, Jinfa Huang, Dawei Zhu, Hao Wang, Kaiwen Xue, Xuanliang Zhang, Yong Shan, Tianle Cai, Taylor Kergan, Assel Kembay, Andrew Smith, Chenghua Lin, Binh Nguyen, Yuqi Pan, Yuhong Chou, Zefan Cai, Zhenhe Wu, Yongchi Zhao, Tianyu Liu, Jian Yang, Wangchunshu Zhou, Chujie Zheng, Chongxuan Li, Yuyin Zhou, Zhoujun Li, Zhaoxiang Zhang, Jiaheng Liu, Ge Zhang, Wenhao Huang, Jason Eshraghian

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) demonstraram capacidades impressionantes de raciocínio, especialmente quando guiados por cadeias de pensamento explícitas (CoT) que verbalizam etapas intermediárias. Embora o CoT melhore tanto a interpretabilidade quanto a precisão, sua dependência do raciocínio em linguagem natural limita a largura de banda expressiva do modelo. O raciocínio latente aborda esse gargalo ao realizar inferências de múltiplas etapas inteiramente no estado oculto contínuo do modelo, eliminando a supervisão no nível de tokens. Para avançar a pesquisa em raciocínio latente, este estudo fornece uma visão abrangente desse campo emergente. Começamos examinando o papel fundamental das camadas de redes neurais como substrato computacional para o raciocínio, destacando como representações hierárquicas suportam transformações complexas. Em seguida, exploramos diversas metodologias de raciocínio latente, incluindo recorrência baseada em ativações, propagação de estados ocultos e estratégias de ajuste fino que comprimem ou internalizam traços de raciocínio explícitos. Por fim, discutimos paradigmas avançados, como o raciocínio latente de profundidade infinita por meio de modelos de difusão mascarada, que permitem processos de raciocínio globalmente consistentes e reversíveis. Ao unir essas perspectivas, buscamos esclarecer o panorama conceitual do raciocínio latente e traçar direções futuras para a pesquisa na fronteira da cognição de LLMs. Um repositório GitHub associado, que coleta os artigos e repositórios mais recentes, está disponível em: https://github.com/multimodal-art-projection/LatentCoT-Horizon/.

English

Large Language Models (LLMs) have demonstrated impressive reasoning capabilities, especially when guided by explicit chain-of-thought (CoT) reasoning that verbalizes intermediate steps. While CoT improves both interpretability and accuracy, its dependence on natural language reasoning limits the model's expressive bandwidth. Latent reasoning tackles this bottleneck by performing multi-step inference entirely in the model's continuous hidden state, eliminating token-level supervision. To advance latent reasoning research, this survey provides a comprehensive overview of the emerging field of latent reasoning. We begin by examining the foundational role of neural network layers as the computational substrate for reasoning, highlighting how hierarchical representations support complex transformations. Next, we explore diverse latent reasoning methodologies, including activation-based recurrence, hidden state propagation, and fine-tuning strategies that compress or internalize explicit reasoning traces. Finally, we discuss advanced paradigms such as infinite-depth latent reasoning via masked diffusion models, which enable globally consistent and reversible reasoning processes. By unifying these perspectives, we aim to clarify the conceptual landscape of latent reasoning and chart future directions for research at the frontier of LLM cognition. An associated GitHub repository collecting the latest papers and repos is available at: https://github.com/multimodal-art-projection/LatentCoT-Horizon/.