Planning in 8 Tokens: Een Compacte Discrete Tokenizer voor Latente Wereldmodellen
Planning in 8 Tokens: A Compact Discrete Tokenizer for Latent World Model
March 5, 2026
Auteurs: Dongwon Kim, Gawon Seo, Jinsung Lee, Minsu Cho, Suha Kwak
cs.AI
Samenvatting
Wereldmodellen bieden een krachtig raamwerk voor het simuleren van omgevingsdynamiek, geconditioneerd op acties of instructies, wat downstreamtaken zoals actieplanning of beleidsleren mogelijk maakt. Recente benaderingen maken gebruik van wereldmodellen als geleerde simulatoren, maar de toepassing ervan voor planning op besluitvormingstijd blijft rekenkundig onhaalbaar voor realtime controle. Een belangrijke bottleneck ligt in de latente representaties: conventionele tokenizers coderen elke observatie in honderden tokens, wat planning zowel traag als resource-intensief maakt. Om dit aan te pakken, stellen we CompACT voor, een discrete tokenizer die elke observatie comprimeert tot slechts 8 tokens, waardoor de rekenkosten drastisch worden verlaagd terwijl essentiële informatie voor planning behouden blijft. Een actie-geconditioneerd wereldmodel dat gebruikmaakt van de CompACT-tokenizer behaalt competitieve planningsprestaties met een orde-van-grootte snellere planning, en biedt zo een praktische stap naar de inzet van wereldmodellen in de echte wereld.
English
World models provide a powerful framework for simulating environment dynamics conditioned on actions or instructions, enabling downstream tasks such as action planning or policy learning. Recent approaches leverage world models as learned simulators, but its application to decision-time planning remains computationally prohibitive for real-time control. A key bottleneck lies in latent representations: conventional tokenizers encode each observation into hundreds of tokens, making planning both slow and resource-intensive. To address this, we propose CompACT, a discrete tokenizer that compresses each observation into as few as 8 tokens, drastically reducing computational cost while preserving essential information for planning. An action-conditioned world model that occupies CompACT tokenizer achieves competitive planning performance with orders-of-magnitude faster planning, offering a practical step toward real-world deployment of world models.