潜在空間：基礎、進化、仕組み、能力、展望

要旨

潜在空間は、言語ベースのモデルにおける新たな基盤として急速に台頭しつつある。現代のシステムが未だに明示的なトークンレベルの生成として理解されることが多い一方で、多くの重要な内部プロセスが人間が読解可能な言語痕跡よりも、連続的な潜在空間においてより自然に実行されることを示す研究が増えている。この転換は、言語的冗長性、離散化によるボトルネック、逐次処理の非効率性、意味情報の損失といった、明示的空間計算の構造的限界によって推進されている。本サーベイは、言語ベースのモデルにおける潜在空間の統一された最新の動向を提供することを目的とする。本稿では、調査内容を「基盤」「進化」「メカニズム」「能力」「展望」という5つの連続的な視点で構成する。まず、潜在空間の範囲を定義し、明示的空間や言語空間、および生成視覚モデルで一般的に研究される潜在空間と区別する。次に、初期の探求的試みから現在の大規模拡張に至るまでの分野の進化を辿る。技術的景観を整理するために、既存の研究を「メカニズム」と「能力」という補完的なレンズを通して検証する。「メカニズム」の観点から、アーキテクチャ、表現、計算、最適化という4つの主要な発展系統を特定する。「能力」の観点からは、潜在空間が推論、計画、モデリング、知覚、記憶、協調、具身化にわたる広範な能力スペクトルを如何に支えているかを示す。体系化を超えて、主要な未解決課題について議論し、将来研究の有望な方向性を概説する。本サーベイが既存研究の参照資料としてだけでなく、次世代知能のための汎用的な計算・システムパラダイムとしての潜在空間を理解する基盤として役立つことを期待する。

English

Latent space is rapidly emerging as a native substrate for language-based models. While modern systems are still commonly understood through explicit token-level generation, an increasing body of work shows that many critical internal processes are more naturally carried out in continuous latent space than in human-readable verbal traces. This shift is driven by the structural limitations of explicit-space computation, including linguistic redundancy, discretization bottlenecks, sequential inefficiency, and semantic loss. This survey aims to provide a unified and up-to-date landscape of latent space in language-based models. We organize the survey into five sequential perspectives: Foundation, Evolution, Mechanism, Ability, and Outlook. We begin by delineating the scope of latent space, distinguishing it from explicit or verbal space and from the latent spaces commonly studied in generative visual models. We then trace the field's evolution from early exploratory efforts to the current large-scale expansion. To organize the technical landscape, we examine existing work through the complementary lenses of mechanism and ability. From the perspective of Mechanism, we identify four major lines of development: Architecture, Representation, Computation, and Optimization. From the perspective of Ability, we show how latent space supports a broad capability spectrum spanning Reasoning, Planning, Modeling, Perception, Memory, Collaboration, and Embodiment. Beyond consolidation, we discuss the key open challenges, and outline promising directions for future research. We hope this survey serves not only as a reference for existing work, but also as a foundation for understanding latent space as a general computational and systems paradigm for next-generation intelligence.

潜在空間：基礎、進化、仕組み、能力、展望

The Latent Space: Foundation, Evolution, Mechanism, Ability, and Outlook

要旨

Support