NeoVerse: Mejorando el Modelo de Mundo 4D con Vídeos Monoculares en Entornos No Controlados
NeoVerse: Enhancing 4D World Model with in-the-wild Monocular Videos
January 1, 2026
Autores: Yuxue Yang, Lue Fan, Ziqi Shi, Junran Peng, Feng Wang, Zhaoxiang Zhang
cs.AI
Resumen
En este artículo, presentamos NeoVerse, un modelo versátil de mundo 4D capaz de realizar reconstrucción 4D, generar vídeos a partir de trayectorias novedosas y una amplia gama de aplicaciones derivadas. Primero identificamos una limitación común de escalabilidad en los métodos actuales de modelado de mundos 4D, causada ya sea por el uso de datos 4D multivista costosos y especializados, o por un preprocesamiento de entrenamiento engorroso. En contraste, nuestro NeoVerse se basa en una filosofía central que hace que toda la pipeline sea escalable a diversos vídeos monoculares capturados en entornos reales. Específicamente, NeoVerse se caracteriza por una reconstrucción 4D directa (feed-forward) que no requiere información de pose, una simulación en línea de patrones de degradación monoculares y otras técnicas bien alineadas. Estos diseños dotan a NeoVerse de versatilidad y generalización para diversos dominios. Paralelamente, NeoVerse logra un rendimiento puntero en benchmarks estándar de reconstrucción y generación. Nuestra página del proyecto está disponible en https://neoverse-4d.github.io.
English
In this paper, we propose NeoVerse, a versatile 4D world model that is capable of 4D reconstruction, novel-trajectory video generation, and rich downstream applications. We first identify a common limitation of scalability in current 4D world modeling methods, caused either by expensive and specialized multi-view 4D data or by cumbersome training pre-processing. In contrast, our NeoVerse is built upon a core philosophy that makes the full pipeline scalable to diverse in-the-wild monocular videos. Specifically, NeoVerse features pose-free feed-forward 4D reconstruction, online monocular degradation pattern simulation, and other well-aligned techniques. These designs empower NeoVerse with versatility and generalization to various domains. Meanwhile, NeoVerse achieves state-of-the-art performance in standard reconstruction and generation benchmarks. Our project page is available at https://neoverse-4d.github.io