NeoVerse: Verbesserung des 4D-Weltmodells mit Monocular-Videos aus unkontrollierten Umgebungen
NeoVerse: Enhancing 4D World Model with in-the-wild Monocular Videos
January 1, 2026
papers.authors: Yuxue Yang, Lue Fan, Ziqi Shi, Junran Peng, Feng Wang, Zhaoxiang Zhang
cs.AI
papers.abstract
In diesem Beitrag stellen wir NeoVerse vor, ein vielseitiges 4D-Weltmodell, das 4D-Rekonstruktion, die Erzeugung von Videos entlang neuartiger Trajektorien und umfangreiche Downstream-Anwendungen ermöglicht. Zunächst identifizieren wir eine gemeinsame Limitierung der Skalierbarkeit aktueller Methoden zur 4D-Weltmodellierung, die entweder auf teuren und spezialisierten Multi-View-4D-Daten oder auf aufwändigem Trainings-Preprocessing beruht. Im Gegensatz dazu basiert unser NeoVerse auf einer Kernphilosophie, die die gesamte Pipeline für diverse monokulare In-the-Wild-Videos skalierbar macht. Konkret zeichnet sich NeoVerse durch pose-freie, vortlaufende 4D-Rekonstruktion, online-Simulation monokularer Degradationsmuster und andere gut abgestimmte Techniken aus. Diese Designs verleihen NeoVerse Vielseitigkeit und Generalisierungsfähigkeit für verschiedene Domänen. Gleichzeitig erzielt NeoVerse state-of-the-art Leistung in standardisierten Rekonstruktions- und Generierungs-Benchmarks. Unsere Projektseite ist unter https://neoverse-4d.github.io verfügbar.
English
In this paper, we propose NeoVerse, a versatile 4D world model that is capable of 4D reconstruction, novel-trajectory video generation, and rich downstream applications. We first identify a common limitation of scalability in current 4D world modeling methods, caused either by expensive and specialized multi-view 4D data or by cumbersome training pre-processing. In contrast, our NeoVerse is built upon a core philosophy that makes the full pipeline scalable to diverse in-the-wild monocular videos. Specifically, NeoVerse features pose-free feed-forward 4D reconstruction, online monocular degradation pattern simulation, and other well-aligned techniques. These designs empower NeoVerse with versatility and generalization to various domains. Meanwhile, NeoVerse achieves state-of-the-art performance in standard reconstruction and generation benchmarks. Our project page is available at https://neoverse-4d.github.io