Unendliche-Welt: Skalierung interaktiver Weltmodelle auf 1000-Frame-Horizonte durch posierungsfreien hierarchischen Speicher
Infinite-World: Scaling Interactive World Models to 1000-Frame Horizons via Pose-Free Hierarchical Memory
February 2, 2026
papers.authors: Ruiqi Wu, Xuanhua He, Meng Cheng, Tianyu Yang, Yong Zhang, Zhuoliang Kang, Xunliang Cai, Xiaoming Wei, Chunle Guo, Chongyi Li, Ming-Ming Cheng
cs.AI
papers.abstract
Wir stellen Infinite-World vor, ein robustes interaktives Weltmodell, das in der Lage ist, kohärentes visuelles Gedächtnis über 1000+ Frames in komplexen realen Umgebungen aufrechtzuerhalten. Während bestehende Weltmodelle effizient auf synthetischen Daten mit perfekten Ground-Truth-Daten optimiert werden können, fehlt ihnen ein effektives Trainingsparadigma für reale Videos aufgrund verrauschter Posenschätzungen und der Seltenheit von Blickpunkt-Wiederholungen. Um diese Lücke zu schließen, führen wir zunächst einen hierarchischen posenfreien Speicherkompressor (Hierarchical Pose-free Memory Compressor, HPMC) ein, der historische Latente rekursiv in eine festbudgetierte Repräsentation destilliert. Durch die gemeinsame Optimierung des Kompressors mit dem generativen Backbone ermöglicht HPMC dem Modell, Generationen autonom in der ferneren Vergangenheit zu verankern, bei begrenzten Rechenkosten und ohne Notwendigkeit expliziter geometrischer Priors. Zweitens schlagen wir ein unsicherheitsbasiertes Aktions-Labeling-Modul vor, das kontinuierliche Bewegung in eine dreiwertige Logik diskretisiert. Diese Strategie maximiert die Nutzung von Rohvideodaten, während sie den deterministischen Aktionsraum vor der Korruption durch verrauschte Trajektorien schützt und so robustes Aktions-Reaktions-Lernen gewährleistet. Darüber hinaus setzen wir, geleitet durch Erkenntnisse aus einer Pilot-Toy-Studie, eine wiederholungsdichte Feinabstimmungsstrategie (Revisit-Dense Finetuning Strategy) unter Verwendung eines kompakten 30-minütigen Datensatzes ein, um die Fähigkeiten des Modells zur langreichweitigen Schleifenschließung effizient zu aktivieren. Umfangreiche Experimente, einschließlich objektiver Metriken und Benutzerstudien, demonstrieren, dass Infinite-World eine überlegene Leistung in visueller Qualität, Aktionssteuerbarkeit und räumlicher Konsistenz erreicht.
English
We propose Infinite-World, a robust interactive world model capable of maintaining coherent visual memory over 1000+ frames in complex real-world environments. While existing world models can be efficiently optimized on synthetic data with perfect ground-truth, they lack an effective training paradigm for real-world videos due to noisy pose estimations and the scarcity of viewpoint revisits. To bridge this gap, we first introduce a Hierarchical Pose-free Memory Compressor (HPMC) that recursively distills historical latents into a fixed-budget representation. By jointly optimizing the compressor with the generative backbone, HPMC enables the model to autonomously anchor generations in the distant past with bounded computational cost, eliminating the need for explicit geometric priors. Second, we propose an Uncertainty-aware Action Labeling module that discretizes continuous motion into a tri-state logic. This strategy maximizes the utilization of raw video data while shielding the deterministic action space from being corrupted by noisy trajectories, ensuring robust action-response learning. Furthermore, guided by insights from a pilot toy study, we employ a Revisit-Dense Finetuning Strategy using a compact, 30-minute dataset to efficiently activate the model's long-range loop-closure capabilities. Extensive experiments, including objective metrics and user studies, demonstrate that Infinite-World achieves superior performance in visual quality, action controllability, and spatial consistency.