Geluste wereldmodellen

Samenvatting

Huidige wereldmodellen hebben te maken met een fundamentele spanning: getrouwe simulatie over een lange horizon vereist diepe berekening, maar diepere modellen zijn duur om in te zetten en vatbaar voor het cumuleren van fouten. Wij lossen dit op door de introductie van Looped World Models (LoopWM), de eerste geluste architecturen voor wereldmodellering. Onze methode verfijnt iteratief latente omgevingstoestanden via een parameter-gedeeld transformatorblok. Dit levert tot 100x parameterefficiëntie op in vergelijking met conventionele benaderingen, met adaptieve berekening die de diepte automatisch schaalt naar de complexiteit van elke voorspellingsstap. Orthogonaal aan het schalen van modelgrootte en trainingsdata, vestigt LoopWM iteratieve latente diepte als een nieuwe schaalas voor wereldsimulatie, wat de gemeenschap aanzienlijk vooruit zou kunnen helpen.

English

Current world models face a fundamental tension: faithful long-horizon simulation demands deep computation, but deeper models are expensive to deploy and prone to compounding errors. We resolve this by introducing Looped World Models (LoopWM), which are the first looped architectures for world modelling. Our method iteratively refines latent environment states through a parameter-shared transformer block. This yield up to 100x parameter efficiency over conventional approaches with adaptive computation that automatically scales depth to match the complexity of each prediction step. Orthogonal to scaling model size and training data, LoopWM establishes iterative latent depth as a new scaling axis for world simulation, which might significantly push the community forward.