Modelos del Mundo en Bucle

Resumen

Los modelos mundiales actuales enfrentan una tensión fundamental: la simulación fiel a largo plazo requiere un cálculo profundo, pero los modelos más profundos son costosos de implementar y propensos a errores acumulativos. Resolvemos esto introduciendo los Modelos Mundiales en Bucle (LoopWM), que son las primeras arquitecturas en bucle para el modelado del mundo. Nuestro método refina iterativamente los estados latentes del entorno a través de un bloque transformer de parámetros compartidos. Esto proporciona hasta 100 veces más eficiencia paramétrica en comparación con los enfoques convencionales, con un cálculo adaptativo que escala automáticamente la profundidad para igualar la complejidad de cada paso de predicción. De manera ortogonal al escalado del tamaño del modelo y los datos de entrenamiento, LoopWM establece la profundidad latente iterativa como un nuevo eje de escala para la simulación del mundo, lo que podría impulsar significativamente el avance de la comunidad.

English

Current world models face a fundamental tension: faithful long-horizon simulation demands deep computation, but deeper models are expensive to deploy and prone to compounding errors. We resolve this by introducing Looped World Models (LoopWM), which are the first looped architectures for world modelling. Our method iteratively refines latent environment states through a parameter-shared transformer block. This yield up to 100x parameter efficiency over conventional approaches with adaptive computation that automatically scales depth to match the complexity of each prediction step. Orthogonal to scaling model size and training data, LoopWM establishes iterative latent depth as a new scaling axis for world simulation, which might significantly push the community forward.