잠재 공간: 기초, 진화, 메커니즘, 능력, 그리고 전망

초록

잠재 공간은 언어 기반 모델의 본질적 기반으로 빠르게 부상하고 있습니다. 현대 시스템이 여전히 명시적 토큰 수준 생성 과정을 통해 이해되는 경우가 많지만, 점차 많은 연구에서 중요한 내부 프로세스들이 인간이 읽을 수 있는 언어적 흔적보다는 연속 잠재 공간에서 더 자연스럽게 수행됨을 보여주고 있습니다. 이러한 전환은 언어적 중복성, 이산화 병목 현상, 순차적 비효율성, 의미적 손실을 포함한 명시적 공간 계산의 구조적 한계에 의해 주도됩니다. 본 설문 연구는 언어 기반 모델에서의 잠재 공간에 대한 통합적이고 최신의 개관을 제공하는 것을 목표로 합니다. 우리는 이 연구를 기초, 진화, 메커니즘, 능력, 전망이라는 다섯 가지 순차적 관점으로 구성합니다. 먼저 잠재 공간의 범위를 delineation하며, 이를 명시적/언어 공간 및 생성형 시각 모델에서 일반적으로 연구되는 잠재 공간과 구별합니다. 그런 다음 초기 탐색적 시도부터 현재의 대규모 확장에 이르는 분야의 진화를 추적합니다. 기술 현황을 체계화하기 위해 메커니즘과 능력이라는 상호 보완적 렌즈를 통해 기존 연구를 검토합니다. 메커니즘 관점에서는 아키텍처, 표현, 계산, 최적화라는 네 가지 주요 발전 흐름을 식별합니다. 능력 관점에서는 잠재 공간이 추론, 계획, 모델링, 지각, 기억, 협업, 구현에 이르는 광범위한 능력 스펙트럼을 어떻게 지원하는지 보여줍니다. 통합을 넘어, 주요 미해결 과제들을 논의하고 향후 연구를 위한 유망한 방향을 제시합니다. 본 설문 연구가 기존 작업에 대한 참고자료로서뿐만 아니라, 차세대 지능을 위한 일반적인 계산 및 시스템 패러다임으로서 잠재 공간을 이해하는 기초로 활용되기를 바랍니다.

English

Latent space is rapidly emerging as a native substrate for language-based models. While modern systems are still commonly understood through explicit token-level generation, an increasing body of work shows that many critical internal processes are more naturally carried out in continuous latent space than in human-readable verbal traces. This shift is driven by the structural limitations of explicit-space computation, including linguistic redundancy, discretization bottlenecks, sequential inefficiency, and semantic loss. This survey aims to provide a unified and up-to-date landscape of latent space in language-based models. We organize the survey into five sequential perspectives: Foundation, Evolution, Mechanism, Ability, and Outlook. We begin by delineating the scope of latent space, distinguishing it from explicit or verbal space and from the latent spaces commonly studied in generative visual models. We then trace the field's evolution from early exploratory efforts to the current large-scale expansion. To organize the technical landscape, we examine existing work through the complementary lenses of mechanism and ability. From the perspective of Mechanism, we identify four major lines of development: Architecture, Representation, Computation, and Optimization. From the perspective of Ability, we show how latent space supports a broad capability spectrum spanning Reasoning, Planning, Modeling, Perception, Memory, Collaboration, and Embodiment. Beyond consolidation, we discuss the key open challenges, and outline promising directions for future research. We hope this survey serves not only as a reference for existing work, but also as a foundation for understanding latent space as a general computational and systems paradigm for next-generation intelligence.

잠재 공간: 기초, 진화, 메커니즘, 능력, 그리고 전망

The Latent Space: Foundation, Evolution, Mechanism, Ability, and Outlook

초록

Support