De Latente Ruimte: Fundament, Evolutie, Mechanisme, Mogelijkheden en Toekomstperspectief
The Latent Space: Foundation, Evolution, Mechanism, Ability, and Outlook
April 2, 2026
Auteurs: Xinlei Yu, Zhangquan Chen, Yongbo He, Tianyu Fu, Cheng Yang, Chengming Xu, Yue Ma, Xiaobin Hu, Zhe Cao, Jie Xu, Guibin Zhang, Jiale Tao, Jiayi Zhang, Siyuan Ma, Kaituo Feng, Haojie Huang, Youxing Li, Ronghao Chen, Huacan Wang, Chenglin Wu, Zikun Su, Xiaogang Xu, Kelu Yao, Kun Wang, Chen Gao, Yue Liao, Ruqi Huang, Tao Jin, Cheng Tan, Jiangning Zhang, Wenqi Ren, Yanwei Fu, Yong Liu, Yu Wang, Xiangyu Yue, Yu-Gang Jiang, Shuicheng Yan
cs.AI
Samenvatting
De latente ruimte ontwikkelt zich snel als een natuurlijk substraat voor op taal gebaseerde modellen. Hoewel moderne systemen nog vaak worden begrepen via expliciete token-gebaseerde generatie, toont een groeiend aantal onderzoeken aan dat veel kritieke interne processen natuurlijker plaatsvinden in de continue latente ruimte dan in menselijk leesbare verbale sporen. Deze verschuiving wordt gedreven door de structurele beperkingen van expliciete-ruimteberekeningen, waaronder linguïstische redundantie, discretisatieknelpunten, sequentiële inefficiëntie en semantisch verlies. Dit overzicht heeft tot doel een verenigd en actueel landschap te bieden van de latente ruimte in op taal gebaseerde modellen. We organiseren het overzicht in vijf opeenvolgende perspectieven: Fundament, Evolutie, Mechanisme, Vermogen en Vooruitblik. We beginnen met het afbakenen van het domein van de latente ruimte, waarbij we deze onderscheiden van expliciete of verbale ruimtes en van de latente ruimtes die vaak worden bestudeerd in generatieve visuele modellen. Vervolgens volgen we de evolutie van het vakgebied van vroege verkennende inspanningen tot de huidige grootschalige expansie. Om het technische landschap te structureren, onderzoeken we bestaand werk door de complementaire lenzen van mechanisme en vermogen. Vanuit het perspectief van Mechanisme identificeren we vier belangrijke ontwikkellijnen: Architectuur, Representatie, Berekenen en Optimalisatie. Vanuit het perspectief van Vermogen tonen we aan hoe de latente ruimte een breed scala aan capaciteiten ondersteunt, waaronder Redeneren, Plannen, Modelleren, Perceptie, Geheugen, Samenwerking en Belichaming. Naast consolidatie bespreken we de belangrijkste open uitdagingen en schetsen we veelbelovende richtingen voor toekomstig onderzoek. We hopen dat dit overzicht niet alleen dient als referentie voor bestaand werk, maar ook als fundament voor het begrijpen van de latente ruimte als een algemeen computationeel en systeemparadigma voor next-generation intelligentie.
English
Latent space is rapidly emerging as a native substrate for language-based models. While modern systems are still commonly understood through explicit token-level generation, an increasing body of work shows that many critical internal processes are more naturally carried out in continuous latent space than in human-readable verbal traces. This shift is driven by the structural limitations of explicit-space computation, including linguistic redundancy, discretization bottlenecks, sequential inefficiency, and semantic loss. This survey aims to provide a unified and up-to-date landscape of latent space in language-based models. We organize the survey into five sequential perspectives: Foundation, Evolution, Mechanism, Ability, and Outlook. We begin by delineating the scope of latent space, distinguishing it from explicit or verbal space and from the latent spaces commonly studied in generative visual models. We then trace the field's evolution from early exploratory efforts to the current large-scale expansion. To organize the technical landscape, we examine existing work through the complementary lenses of mechanism and ability. From the perspective of Mechanism, we identify four major lines of development: Architecture, Representation, Computation, and Optimization. From the perspective of Ability, we show how latent space supports a broad capability spectrum spanning Reasoning, Planning, Modeling, Perception, Memory, Collaboration, and Embodiment. Beyond consolidation, we discuss the key open challenges, and outline promising directions for future research. We hope this survey serves not only as a reference for existing work, but also as a foundation for understanding latent space as a general computational and systems paradigm for next-generation intelligence.