L'espace latent : Fondements, Évolution, Mécanismes, Capacités et Perspectives
The Latent Space: Foundation, Evolution, Mechanism, Ability, and Outlook
April 2, 2026
Auteurs: Xinlei Yu, Zhangquan Chen, Yongbo He, Tianyu Fu, Cheng Yang, Chengming Xu, Yue Ma, Xiaobin Hu, Zhe Cao, Jie Xu, Guibin Zhang, Jiale Tao, Jiayi Zhang, Siyuan Ma, Kaituo Feng, Haojie Huang, Youxing Li, Ronghao Chen, Huacan Wang, Chenglin Wu, Zikun Su, Xiaogang Xu, Kelu Yao, Kun Wang, Chen Gao, Yue Liao, Ruqi Huang, Tao Jin, Cheng Tan, Jiangning Zhang, Wenqi Ren, Yanwei Fu, Yong Liu, Yu Wang, Xiangyu Yue, Yu-Gang Jiang, Shuicheng Yan
cs.AI
Résumé
L'espace latent émerge rapidement comme un substrat natif pour les modèles basés sur le langage. Bien que les systèmes modernes soient encore couramment compris via la génération explicite au niveau des tokens, un nombre croissant de travaux montre que de nombreux processus internes critiques s'effectuent plus naturellement dans l'espace latent continu que dans des traces verbales lisibles par l'homme. Cette transition est motivée par les limitations structurelles du calcul en espace explicite, incluant la redondance linguistique, les goulots d'étranglement dus à la discrétisation, l'inefficacité séquentielle et la perte sémantique. Cette synthèse vise à fournir un panorama unifié et actuel de l'espace latent dans les modèles basés sur le langage. Nous organisons cette revue selon cinq perspectives séquentielles : Fondations, Évolution, Mécanismes, Capacités et Perspectives. Nous commençons par délimiter la portée de l'espace latent, en le distinguant de l'espace explicite ou verbal et des espaces latents couramment étudiés dans les modèles génératifs visuels. Nous retraçons ensuite l'évolution du domaine, des premiers efforts exploratoires à l'expansion actuelle à grande échelle. Pour organiser le paysage technique, nous examinons les travaux existants à travers les lentilles complémentaires des mécanismes et des capacités. Du point de vue des Mécanismes, nous identifions quatre axes majeurs de développement : Architecture, Représentation, Calcul et Optimisation. Du point de vue des Capacités, nous montrons comment l'espace latent prend en charge un large spectre de capacités couvrant le Raisonnement, la Planification, la Modélisation, la Perception, la Mémoire, la Collaboration et l'Incarnation. Au-delà de la consolidation, nous discutons des principaux défis ouverts et esquissons des directions prometteuses pour les recherches futures. Nous espérons que cette synthèse servira non seulement de référence pour les travaux existants, mais aussi de fondement pour appréhender l'espace latent comme un paradigme computationnel et systémique général pour l'intelligence de nouvelle génération.
English
Latent space is rapidly emerging as a native substrate for language-based models. While modern systems are still commonly understood through explicit token-level generation, an increasing body of work shows that many critical internal processes are more naturally carried out in continuous latent space than in human-readable verbal traces. This shift is driven by the structural limitations of explicit-space computation, including linguistic redundancy, discretization bottlenecks, sequential inefficiency, and semantic loss. This survey aims to provide a unified and up-to-date landscape of latent space in language-based models. We organize the survey into five sequential perspectives: Foundation, Evolution, Mechanism, Ability, and Outlook. We begin by delineating the scope of latent space, distinguishing it from explicit or verbal space and from the latent spaces commonly studied in generative visual models. We then trace the field's evolution from early exploratory efforts to the current large-scale expansion. To organize the technical landscape, we examine existing work through the complementary lenses of mechanism and ability. From the perspective of Mechanism, we identify four major lines of development: Architecture, Representation, Computation, and Optimization. From the perspective of Ability, we show how latent space supports a broad capability spectrum spanning Reasoning, Planning, Modeling, Perception, Memory, Collaboration, and Embodiment. Beyond consolidation, we discuss the key open challenges, and outline promising directions for future research. We hope this survey serves not only as a reference for existing work, but also as a foundation for understanding latent space as a general computational and systems paradigm for next-generation intelligence.