WorldCache: Wereldmodellen Gratis Versnellen via Heterogene Token Caching
WorldCache: Accelerating World Models for Free via Heterogeneous Token Caching
March 6, 2026
Auteurs: Weilun Feng, Guoxin Fan, Haotong Qin, Chuanguang Yang, Mingqiang Wu, Yuqi Li, Xiangqi Li, Zhulin An, Libo Huang, Dingrui Wang, Longlong Liao, Michele Magno, Yongjun Xu
cs.AI
Samenvatting
Diffusiegebaseerde wereldmodellen hebben een sterk potentieel getoond voor uniforme wereldsimulatie, maar de iteratieve ruwverwijdering blijft te kostbaar voor interactief gebruik en rollouts met een lange tijdshorizon. Hoewel feature-caching inferentie kan versnellen zonder training, stellen we vast dat beleidsregels die zijn ontworpen voor unimodale diffusie zich slecht laten vertalen naar wereldmodellen vanwege twee model-specifieke obstakels: tokenheterogeniteit door multimodale koppeling en ruimtelijke variatie, en niet-uniforme temporele dynamiek waarbij een kleine set moeilijke tokens de foutgroei aandrijft, waardoor uniform overslaan instabiel of overdreven conservatief wordt. Wij stellen WorldCache voor, een caching-framework toegesneden op diffusie-wereldmodellen. We introduceren Kromming-gestuurde Heterogene Tokenvoorspelling, die een op natuurkunde gebaseerde krommingsscore gebruikt om de voorspelbaarheid van tokens in te schatten en een Hermite-gestuurde gedempte voorspeller toepast voor chaotische tokens met abrupte richtingsveranderingen. We ontwerpen ook Chaotisch-geprioriteerd Adaptief Overslaan, dat een genormaliseerd, dimensieloos driftsignaal accumuleert en alleen opnieuw berekent wanneer bottleneck-tokens beginnen te verschuiven. Experimenten met diffusie-wereldmodellen tonen aan dat WorldCache end-to-end versnellingen tot 3,7x levert met behoud van 98% rolloutkwaliteit, wat de grote voordelen en praktische bruikbaarheid van WorldCache in resourcebeperkte scenario's aantoont. Onze code is vrijgegeven op https://github.com/FofGofx/WorldCache.
English
Diffusion-based world models have shown strong potential for unified world simulation, but the iterative denoising remains too costly for interactive use and long-horizon rollouts. While feature caching can accelerate inference without training, we find that policies designed for single-modal diffusion transfer poorly to world models due to two world-model-specific obstacles: token heterogeneity from multi-modal coupling and spatial variation, and non-uniform temporal dynamics where a small set of hard tokens drives error growth, making uniform skipping either unstable or overly conservative. We propose WorldCache, a caching framework tailored to diffusion world models. We introduce Curvature-guided Heterogeneous Token Prediction, which uses a physics-grounded curvature score to estimate token predictability and applies a Hermite-guided damped predictor for chaotic tokens with abrupt direction changes. We also design Chaotic-prioritized Adaptive Skipping, which accumulates a curvature-normalized, dimensionless drift signal and recomputes only when bottleneck tokens begin to drift. Experiments on diffusion world models show that WorldCache delivers up to 3.7times end-to-end speedups while maintaining 98\% rollout quality, demonstrating the vast advantages and practicality of WorldCache in resource-constrained scenarios. Our code is released in https://github.com/FofGofx/WorldCache.