Циклические модели мира

Аннотация

Современные модели мира сталкиваются с фундаментальным противоречием: точная долгосрочная симуляция требует глубоких вычислений, но более глубокие модели дороги в развертывании и подвержены накоплению ошибок. Мы решаем эту проблему, представляя Looped World Models (LoopWM) — первые зацикленные архитектуры для моделирования мира. Наш метод итеративно уточняет скрытые состояния среды через блок трансформера с общими параметрами. Это обеспечивает до 100-кратной эффективности по параметрам по сравнению с традиционными подходами, а также адаптивные вычисления, которые автоматически масштабируют глубину в соответствии со сложностью каждого шага предсказания. Ортогонально к масштабированию размера модели и обучающих данных, LoopWM устанавливает итеративную скрытую глубину как новую ось масштабирования для симуляции мира, что может значительно продвинуть сообщество вперед.

English

Current world models face a fundamental tension: faithful long-horizon simulation demands deep computation, but deeper models are expensive to deploy and prone to compounding errors. We resolve this by introducing Looped World Models (LoopWM), which are the first looped architectures for world modelling. Our method iteratively refines latent environment states through a parameter-shared transformer block. This yield up to 100x parameter efficiency over conventional approaches with adaptive computation that automatically scales depth to match the complexity of each prediction step. Orthogonal to scaling model size and training data, LoopWM establishes iterative latent depth as a new scaling axis for world simulation, which might significantly push the community forward.