Modèles du monde en boucle

Résumé

Les modèles du monde actuels sont confrontés à une tension fondamentale : une simulation fidèle sur de longs horizons exige un calcul profond, mais les modèles plus profonds sont coûteux à déployer et sujets à des erreurs cumulatives. Nous résolvons ce problème en introduisant les Looped World Models (LoopWM), les premières architectures en boucle pour la modélisation du monde. Notre méthode affine de manière itérative les états latents de l'environnement via un bloc transformer à paramètres partagés. Cela permet d'obtenir jusqu'à 100 fois plus d'efficacité paramétrique par rapport aux approches conventionnelles, avec un calcul adaptatif qui ajuste automatiquement la profondeur en fonction de la complexité de chaque étape de prédiction. Orthogonal à la mise à l'échelle de la taille du modèle et des données d'entraînement, LoopWM établit la profondeur latente itérative comme un nouvel axe de mise à l'échelle pour la simulation du monde, ce qui pourrait faire progresser significativement la communauté.

English

Current world models face a fundamental tension: faithful long-horizon simulation demands deep computation, but deeper models are expensive to deploy and prone to compounding errors. We resolve this by introducing Looped World Models (LoopWM), which are the first looped architectures for world modelling. Our method iteratively refines latent environment states through a parameter-shared transformer block. This yield up to 100x parameter efficiency over conventional approaches with adaptive computation that automatically scales depth to match the complexity of each prediction step. Orthogonal to scaling model size and training data, LoopWM establishes iterative latent depth as a new scaling axis for world simulation, which might significantly push the community forward.