Schleifen-Weltmodelle

Zusammenfassung

Aktuelle Weltmodelle stehen vor einer grundlegenden Spannung: Eine getreue langfristige Simulation erfordert tiefgehende Berechnungen, aber tiefere Modelle sind teuer in der Umsetzung und neigen zu sich verstärkenden Fehlern. Wir lösen dies durch die Einführung von Looped World Models (LoopWM), den ersten geschleiften Architekturen für die Weltmodellierung. Unsere Methode verfeinert latente Umgebungszustände iterativ durch einen parametergemeinsamen Transformer-Block. Dies führt zu einer bis zu 100-fachen Parametereffizienz im Vergleich zu herkömmlichen Ansätzen, mit adaptiver Berechnung, die die Tiefe automatisch an die Komplexität jedes Vorhersageschritts anpasst. Orthogonal zur Skalierung der Modellgröße und der Trainingsdaten etabliert LoopWM die iterative latente Tiefe als neue Skalierungsachse für die Weltsimulation, was die Forschung möglicherweise erheblich voranbringen könnte.

English

Current world models face a fundamental tension: faithful long-horizon simulation demands deep computation, but deeper models are expensive to deploy and prone to compounding errors. We resolve this by introducing Looped World Models (LoopWM), which are the first looped architectures for world modelling. Our method iteratively refines latent environment states through a parameter-shared transformer block. This yield up to 100x parameter efficiency over conventional approaches with adaptive computation that automatically scales depth to match the complexity of each prediction step. Orthogonal to scaling model size and training data, LoopWM establishes iterative latent depth as a new scaling axis for world simulation, which might significantly push the community forward.