NeoVerse : Amélioration du modèle de monde 4D avec des vidéos monoculaires en conditions réelles
NeoVerse: Enhancing 4D World Model with in-the-wild Monocular Videos
January 1, 2026
papers.authors: Yuxue Yang, Lue Fan, Ziqi Shi, Junran Peng, Feng Wang, Zhaoxiang Zhang
cs.AI
papers.abstract
Dans cet article, nous proposons NeoVerse, un modèle de monde 4D polyvalent capable de reconstruction 4D, de génération de vidéos par trajectoires nouvelles et de riches applications en aval. Nous identifions d'abord une limitation commune d'évolutivité dans les méthodes actuelles de modélisation de mondes 4D, causée soit par des données 4D multi-vues spécialisées et coûteuses, soit par un prétraitement d'entraînement fastidieux. En revanche, notre modèle NeoVerse repose sur une philosophie centrale qui rend l'ensemble du pipeline évolutif pour diverses vidéos monoculaires en conditions réelles. Plus précisément, NeoVerse se caractérise par une reconstruction 4D feed-forward sans pose, une simulation en ligne des motifs de dégradation monoculaire et d'autres techniques parfaitement alignées. Ces conceptions confèrent à NeoVerse une polyvalence et une généralisation à divers domaines. Parallèlement, NeoVerse atteint des performances de pointe sur les benchmarks standards de reconstruction et de génération. Notre page projet est disponible à l'adresse https://neoverse-4d.github.io.
English
In this paper, we propose NeoVerse, a versatile 4D world model that is capable of 4D reconstruction, novel-trajectory video generation, and rich downstream applications. We first identify a common limitation of scalability in current 4D world modeling methods, caused either by expensive and specialized multi-view 4D data or by cumbersome training pre-processing. In contrast, our NeoVerse is built upon a core philosophy that makes the full pipeline scalable to diverse in-the-wild monocular videos. Specifically, NeoVerse features pose-free feed-forward 4D reconstruction, online monocular degradation pattern simulation, and other well-aligned techniques. These designs empower NeoVerse with versatility and generalization to various domains. Meanwhile, NeoVerse achieves state-of-the-art performance in standard reconstruction and generation benchmarks. Our project page is available at https://neoverse-4d.github.io