NeoVerse: Verbetering van 4D-wereldmodellen met in-the-wild monovideobeelden
NeoVerse: Enhancing 4D World Model with in-the-wild Monocular Videos
January 1, 2026
Auteurs: Yuxue Yang, Lue Fan, Ziqi Shi, Junran Peng, Feng Wang, Zhaoxiang Zhang
cs.AI
Samenvatting
In dit artikel introduceren we NeoVerse, een veelzijdig 4D-wereldmodel dat in staat is tot 4D-reconstructie, videogeneratie langs nieuwe trajecten en diverse downstream-toepassingen. We identificeren eerst een algemene schaalbaarheidsbeperking in huidige 4D-wereldmodelleringsmethoden, veroorzaakt door dure en gespecialiseerde multi-view 4D-data of door omslachtige trainingsvoorbewerking. In tegenstelling hiermee is onze NeoVerse gebouwd op een kernfilosofie die de volledige pijplijn schaalbaar maakt voor diverse monovideo's uit de praktijk. Concreet kenmerkt NeoVerse zich door pose-vrije feed-forward 4D-reconstructie, online simulatie van monoculaire degradatiepatronen en andere goed afgestemde technieken. Deze ontwerpkeuzes geven NeoVerse veelzijdigheid en generalisatievermogen voor uiteenlopende domeinen. Tegelijkertijd behaalt NeoVerse state-of-the-art prestaties in standaard reconstructie- en generatiebenchmarks. Onze projectpagina is beschikbaar op https://neoverse-4d.github.io.
English
In this paper, we propose NeoVerse, a versatile 4D world model that is capable of 4D reconstruction, novel-trajectory video generation, and rich downstream applications. We first identify a common limitation of scalability in current 4D world modeling methods, caused either by expensive and specialized multi-view 4D data or by cumbersome training pre-processing. In contrast, our NeoVerse is built upon a core philosophy that makes the full pipeline scalable to diverse in-the-wild monocular videos. Specifically, NeoVerse features pose-free feed-forward 4D reconstruction, online monocular degradation pattern simulation, and other well-aligned techniques. These designs empower NeoVerse with versatility and generalization to various domains. Meanwhile, NeoVerse achieves state-of-the-art performance in standard reconstruction and generation benchmarks. Our project page is available at https://neoverse-4d.github.io