NeoVerse: Potenziamento del Modello di Mondo 4D con Video Monoculari in Ambiente Reale
NeoVerse: Enhancing 4D World Model with in-the-wild Monocular Videos
January 1, 2026
Autori: Yuxue Yang, Lue Fan, Ziqi Shi, Junran Peng, Feng Wang, Zhaoxiang Zhang
cs.AI
Abstract
In questo articolo, proponiamo NeoVerse, un modello versatile di mondo 4D in grado di eseguire ricostruzione 4D, generazione di video su traiettorie nuove e una serie di applicazioni downstream avanzate. Inizialmente identifichiamo una limitazione comune di scalabilità nei metodi correnti di modellazione del mondo 4D, causata sia da dati 4D multi-vista costosi e specializzati, sia da una pre-elaborazione dell'addestramento macchinosa. Al contrario, il nostro NeoVerse si basa su una filosofia centrale che rende l'intera pipeline scalabile per diversi video monoculari in contesti reali. Nello specifico, NeoVerse si caratterizza per una ricostruzione 4D feed-forward senza stima della posa, una simulazione online dei pattern di degradazione monoculare e altre tecniche ben allineate. Questi progetti conferiscono a NeoVerse versatilità e generalizzazione in vari domini. Nel frattempo, NeoVerse raggiunge prestazioni all'avanguardia nei benchmark standard di ricostruzione e generazione. La nostra pagina del progetto è disponibile all'indirizzo https://neoverse-4d.github.io.
English
In this paper, we propose NeoVerse, a versatile 4D world model that is capable of 4D reconstruction, novel-trajectory video generation, and rich downstream applications. We first identify a common limitation of scalability in current 4D world modeling methods, caused either by expensive and specialized multi-view 4D data or by cumbersome training pre-processing. In contrast, our NeoVerse is built upon a core philosophy that makes the full pipeline scalable to diverse in-the-wild monocular videos. Specifically, NeoVerse features pose-free feed-forward 4D reconstruction, online monocular degradation pattern simulation, and other well-aligned techniques. These designs empower NeoVerse with versatility and generalization to various domains. Meanwhile, NeoVerse achieves state-of-the-art performance in standard reconstruction and generation benchmarks. Our project page is available at https://neoverse-4d.github.io