Infinite-World: Escalando Modelos de Mundo Interactivos a Horizontes de 1000 Fotogramas mediante Memoria Jerárquica Libre de Poses

Infinite-World: Scaling Interactive World Models to 1000-Frame Horizons via Pose-Free Hierarchical Memory

February 2, 2026

Autores: Ruiqi Wu, Xuanhua He, Meng Cheng, Tianyu Yang, Yong Zhang, Zhuoliang Kang, Xunliang Cai, Xiaoming Wei, Chunle Guo, Chongyi Li, Ming-Ming Cheng

cs.AI

Resumen

Proponemos Infinite-World, un modelo de mundo interactivo robusto capaz de mantener una memoria visual coherente durante más de 1000 fotogramas en entornos complejos del mundo real. Si bien los modelos de mundo existentes pueden optimizarse eficientemente en datos sintéticos con verdad de terreno perfecta, carecen de un paradigma de entrenamiento efectivo para videos del mundo real debido a estimaciones de pose ruidosas y la escasez de re-visitaciones de puntos de vista. Para cerrar esta brecha, primero introducimos un Compresor de Memoria Libre de Pose Jerárquico (HPMC) que destila recursivamente los *latents* históricos en una representación de presupuesto fijo. Al optimizar conjuntamente el compresor con el *backbone* generativo, HPMC permite al modelo anclar autónomamente las generaciones en un pasado distante con un coste computacional acotado, eliminando la necesidad de *priors* geométricos explícitos. En segundo lugar, proponemos un módulo de Etiquetado de Acciones Consciente de la Incertidumbre que discretiza el movimiento continuo en una lógica de tres estados. Esta estrategia maximiza la utilización de datos de vídeo en bruto mientras protege el espacio de acción determinista de ser corrompido por trayectorias ruidosas, garantizando un aprendizaje robusto de respuesta a la acción. Además, guiados por las percepciones de un estudio piloto preliminar, empleamos una Estrategia de Ajuste Fino con Re-visitaciones Densas utilizando un conjunto de datos compacto de 30 minutos para activar eficientemente las capacidades de cierre de bucles de largo alcance del modelo. Experimentos exhaustivos, que incluyen métricas objetivas y estudios de usuario, demuestran que Infinite-World logra un rendimiento superior en calidad visual, controllabilidad de acciones y consistencia espacial.

English

We propose Infinite-World, a robust interactive world model capable of maintaining coherent visual memory over 1000+ frames in complex real-world environments. While existing world models can be efficiently optimized on synthetic data with perfect ground-truth, they lack an effective training paradigm for real-world videos due to noisy pose estimations and the scarcity of viewpoint revisits. To bridge this gap, we first introduce a Hierarchical Pose-free Memory Compressor (HPMC) that recursively distills historical latents into a fixed-budget representation. By jointly optimizing the compressor with the generative backbone, HPMC enables the model to autonomously anchor generations in the distant past with bounded computational cost, eliminating the need for explicit geometric priors. Second, we propose an Uncertainty-aware Action Labeling module that discretizes continuous motion into a tri-state logic. This strategy maximizes the utilization of raw video data while shielding the deterministic action space from being corrupted by noisy trajectories, ensuring robust action-response learning. Furthermore, guided by insights from a pilot toy study, we employ a Revisit-Dense Finetuning Strategy using a compact, 30-minute dataset to efficiently activate the model's long-range loop-closure capabilities. Extensive experiments, including objective metrics and user studies, demonstrate that Infinite-World achieves superior performance in visual quality, action controllability, and spatial consistency.