Планирование в 8 токенах: Компактный дискретный токенизатор для латентной модели мира

Planning in 8 Tokens: A Compact Discrete Tokenizer for Latent World Model

March 5, 2026

Авторы: Dongwon Kim, Gawon Seo, Jinsung Lee, Minsu Cho, Suha Kwak

cs.AI

Аннотация

Модели мира предоставляют мощный инструментарий для моделирования динамики окружения в зависимости от действий или инструкций, что позволяет решать такие задачи, как планирование действий или обучение стратегий. Современные подходы используют модели мира в качестве обученных симуляторов, однако их применение для планирования в момент принятия решений остается вычислительно непосильным для систем реального времени. Ключевым узким местом являются латентные представления: традиционные токенизаторы кодируют каждое наблюдение в сотни токенов, что делает планирование медленным и ресурсоемким. Для решения этой проблемы мы предлагаем CompACT — дискретный токенизатор, который сжимает каждое наблюдение всего в 8 токенов, радикально снижая вычислительные затраты при сохранении essentialной информации для планирования. Модель мира с условием на действия, использующая токенизатор CompACT, демонстрирует конкурентоспособную производительность планирования при увеличении скорости на порядки, что представляет собой практический шаг к реальному внедрению моделей мира.

English

World models provide a powerful framework for simulating environment dynamics conditioned on actions or instructions, enabling downstream tasks such as action planning or policy learning. Recent approaches leverage world models as learned simulators, but its application to decision-time planning remains computationally prohibitive for real-time control. A key bottleneck lies in latent representations: conventional tokenizers encode each observation into hundreds of tokens, making planning both slow and resource-intensive. To address this, we propose CompACT, a discrete tokenizer that compresses each observation into as few as 8 tokens, drastically reducing computational cost while preserving essential information for planning. An action-conditioned world model that occupies CompACT tokenizer achieves competitive planning performance with orders-of-magnitude faster planning, offering a practical step toward real-world deployment of world models.