Der latente Raum: Grundlagen, Entwicklung, Mechanismen, Fähigkeiten und Perspektiven
The Latent Space: Foundation, Evolution, Mechanism, Ability, and Outlook
April 2, 2026
Autoren: Xinlei Yu, Zhangquan Chen, Yongbo He, Tianyu Fu, Cheng Yang, Chengming Xu, Yue Ma, Xiaobin Hu, Zhe Cao, Jie Xu, Guibin Zhang, Jiale Tao, Jiayi Zhang, Siyuan Ma, Kaituo Feng, Haojie Huang, Youxing Li, Ronghao Chen, Huacan Wang, Chenglin Wu, Zikun Su, Xiaogang Xu, Kelu Yao, Kun Wang, Chen Gao, Yue Liao, Ruqi Huang, Tao Jin, Cheng Tan, Jiangning Zhang, Wenqi Ren, Yanwei Fu, Yong Liu, Yu Wang, Xiangyu Yue, Yu-Gang Jiang, Shuicheng Yan
cs.AI
Zusammenfassung
Der latente Raum etabliert sich zunehmend als natives Substrat für sprachbasierte Modelle. Während moderne Systeme nach wie vor häufig über die explizite Erzeugung auf Token-Ebene verstanden werden, zeigt eine wachsende Anzahl von Arbeiten, dass viele kritische interne Prozesse natürlicher im kontinuierlichen latenten Raum als in menschenlesbaren verbalen Spuren ablaufen. Dieser Wandel wird durch die strukturellen Grenzen der Berechnung im expliziten Raum vorangetrieben, einschließlich linguistischer Redundanz, Diskretisierungsengpässen, sequenzieller Ineffizienz und semantischem Verlust. Dieser Übersichtsartikel zielt darauf ab, ein einheitliches und aktuelles Bild des latenten Raums in sprachbasierten Modellen zu zeichnen. Wir gliedern die Übersicht in fünf aufeinanderfolgende Perspektiven: Grundlage, Entwicklung, Mechanismus, Fähigkeit und Ausblick. Wir beginnen damit, den Anwendungsbereich des latenten Raums abzugrenzen und ihn vom expliziten oder verbalen Raum sowie von den latenten Räumen zu unterscheiden, die üblicherweise in generativen Bildmodellen untersucht werden. Anschließend verfolgen wir die Entwicklung des Feldes von frühen explorativen Ansätzen bis zur aktuellen groß angelegten Erweiterung. Um die technische Landschaft zu strukturieren, betrachten wir bestehende Arbeiten durch die komplementären Blickwinkel von Mechanismus und Fähigkeit. Aus der Perspektive des Mechanismus identifizieren wir vier Hauptentwicklungslinien: Architektur, Repräsentation, Berechnung und Optimierung. Aus der Perspektive der Fähigkeit zeigen wir, wie der latente Raum ein breites Fähigkeitsspektrum unterstützt, das Schlussfolgerung, Planung, Modellierung, Wahrnehmung, Gedächtnis, Zusammenarbeit und Verkörperung umspannt. Über die Zusammenfassung hinaus diskutieren wir die wichtigsten offenen Herausforderungen und skizzieren vielversprechende Richtungen für die zukünftige Forschung. Wir hoffen, dass dieser Übersichtsartikel nicht nur als Referenz für bestehende Arbeiten dient, sondern auch als Grundlage für das Verständnis des latenten Raums als allgemeines Berechnungs- und Systemparadigma für die Intelligenz der nächsten Generation.
English
Latent space is rapidly emerging as a native substrate for language-based models. While modern systems are still commonly understood through explicit token-level generation, an increasing body of work shows that many critical internal processes are more naturally carried out in continuous latent space than in human-readable verbal traces. This shift is driven by the structural limitations of explicit-space computation, including linguistic redundancy, discretization bottlenecks, sequential inefficiency, and semantic loss. This survey aims to provide a unified and up-to-date landscape of latent space in language-based models. We organize the survey into five sequential perspectives: Foundation, Evolution, Mechanism, Ability, and Outlook. We begin by delineating the scope of latent space, distinguishing it from explicit or verbal space and from the latent spaces commonly studied in generative visual models. We then trace the field's evolution from early exploratory efforts to the current large-scale expansion. To organize the technical landscape, we examine existing work through the complementary lenses of mechanism and ability. From the perspective of Mechanism, we identify four major lines of development: Architecture, Representation, Computation, and Optimization. From the perspective of Ability, we show how latent space supports a broad capability spectrum spanning Reasoning, Planning, Modeling, Perception, Memory, Collaboration, and Embodiment. Beyond consolidation, we discuss the key open challenges, and outline promising directions for future research. We hope this survey serves not only as a reference for existing work, but also as a foundation for understanding latent space as a general computational and systems paradigm for next-generation intelligence.