Латентное пространство: основы, эволюция, механизмы, возможности и перспективы

Аннотация

Латентное пространство быстро становится естественным субстратом для языковых моделей. Хотя современные системы по-прежнему обычно понимаются через явное токенизированное порождение, растущий корпус работ показывает, что многие ключевые внутренние процессы более естественно осуществляются в непрерывном латентном пространстве, чем в читаемых человеком вербальных следах. Этот сдвиг обусловлен структурными ограничениями вычислений в явном пространстве, включая лингвистическую избыточность, дискретизационные узкие места, последовательную неэффективность и семантические потери. Данный обзор ставит целью представить унифицированную и современную картину латентного пространства в языковых моделях. Мы структурируем обзор по пяти последовательным перспективам: Основа, Эволюция, Механизм, Способность и Взгляд в будущее. Мы начинаем с разграничения сферы латентного пространства, отличая его от явного или вербального пространства и от латентных пространств, обычно изучаемых в генеративных визуальных моделях. Затем мы прослеживаем эволюцию области от ранних исследовательских усилий до текущего крупномасштабного расширения. Для систематизации технического ландшафта мы рассматриваем существующие работы через взаимодополняющие линзы механизма и способности. С точки зрения Механизма мы выделяем четыре основных направления развития: Архитектура, Репрезентация, Вычисления и Оптимизация. С точки зрения Способности мы показываем, как латентное пространство поддерживает широкий спектр возможностей, охватывающих Рассуждение, Планирование, Моделирование, Восприятие, Память, Коллаборацию и Эмбодимент. Помимо консолидации, мы обсуждаем ключевые нерешенные проблемы и намечаем перспективные направления для будущих исследований. Мы надеемся, что этот обзор послужит не только справочным материалом по существующим работам, но и основой для понимания латентного пространства как общей вычислительной и системной парадигмы для интеллекта следующего поколения.

English

Latent space is rapidly emerging as a native substrate for language-based models. While modern systems are still commonly understood through explicit token-level generation, an increasing body of work shows that many critical internal processes are more naturally carried out in continuous latent space than in human-readable verbal traces. This shift is driven by the structural limitations of explicit-space computation, including linguistic redundancy, discretization bottlenecks, sequential inefficiency, and semantic loss. This survey aims to provide a unified and up-to-date landscape of latent space in language-based models. We organize the survey into five sequential perspectives: Foundation, Evolution, Mechanism, Ability, and Outlook. We begin by delineating the scope of latent space, distinguishing it from explicit or verbal space and from the latent spaces commonly studied in generative visual models. We then trace the field's evolution from early exploratory efforts to the current large-scale expansion. To organize the technical landscape, we examine existing work through the complementary lenses of mechanism and ability. From the perspective of Mechanism, we identify four major lines of development: Architecture, Representation, Computation, and Optimization. From the perspective of Ability, we show how latent space supports a broad capability spectrum spanning Reasoning, Planning, Modeling, Perception, Memory, Collaboration, and Embodiment. Beyond consolidation, we discuss the key open challenges, and outline promising directions for future research. We hope this survey serves not only as a reference for existing work, but also as a foundation for understanding latent space as a general computational and systems paradigm for next-generation intelligence.

Латентное пространство: основы, эволюция, механизмы, возможности и перспективы

The Latent Space: Foundation, Evolution, Mechanism, Ability, and Outlook

Аннотация

Support