Modelos de Mundo com Loop

Resumo

Os modelos mundiais atuais enfrentam uma tensão fundamental: a simulação fiel de horizonte longo exige computação profunda, mas modelos mais profundos são caros de implementar e propensos a erros compostos. Resolvemos isso introduzindo os Modelos de Mundo em Loop (LoopWM), que são as primeiras arquiteturas em loop para modelagem de mundo. Nosso método refina iterativamente estados latentes do ambiente por meio de um bloco transformador de parâmetros compartilhados. Isso resulta em uma eficiência paramétrica de até 100x em relação às abordagens convencionais, com computação adaptativa que dimensiona automaticamente a profundidade para corresponder à complexidade de cada etapa de previsão. Ortogonal ao escalonamento do tamanho do modelo e dos dados de treinamento, o LoopWM estabelece a profundidade latente iterativa como um novo eixo de escalonamento para simulação mundial, o que pode impulsionar significativamente a comunidade.

English

Current world models face a fundamental tension: faithful long-horizon simulation demands deep computation, but deeper models are expensive to deploy and prone to compounding errors. We resolve this by introducing Looped World Models (LoopWM), which are the first looped architectures for world modelling. Our method iteratively refines latent environment states through a parameter-shared transformer block. This yield up to 100x parameter efficiency over conventional approaches with adaptive computation that automatically scales depth to match the complexity of each prediction step. Orthogonal to scaling model size and training data, LoopWM establishes iterative latent depth as a new scaling axis for world simulation, which might significantly push the community forward.