3Dおよび4D世界モデリング：サーベイ
3D and 4D World Modeling: A Survey
September 4, 2025
著者: Lingdong Kong, Wesley Yang, Jianbiao Mei, Youquan Liu, Ao Liang, Dekai Zhu, Dongyue Lu, Wei Yin, Xiaotao Hu, Mingkai Jia, Junyuan Deng, Kaiwen Zhang, Yang Wu, Tianyi Yan, Shenyuan Gao, Song Wang, Linfeng Li, Liang Pan, Yong Liu, Jianke Zhu, Wei Tsang Ooi, Steven C. H. Hoi, Ziwei Liu
cs.AI
要旨
世界モデリングは、AI研究における基盤となり、エージェントが自らが存在する動的な環境を理解し、表現し、予測することを可能にしている。従来の研究は主に2D画像や動画データの生成手法に重点を置いてきたが、RGB-D画像、占有グリッド、LiDAR点群といったネイティブな3Dおよび4D表現を大規模シーンモデリングに活用する急速に進展する研究領域を見落としている。同時に、「世界モデル」に対する標準化された定義や分類体系の欠如により、文献上では断片的で時には矛盾する主張がなされてきた。本サーベイは、これらのギャップを埋めるべく、3Dおよび4D世界モデリングと生成に特化した初の包括的なレビューを提示する。我々は正確な定義を確立し、ビデオベース（VideoGen）、占有ベース（OccGen）、LiDARベース（LiDARGen）のアプローチにわたる構造化された分類体系を導入し、3D/4D設定に特化したデータセットと評価指標を体系的にまとめる。さらに、実用的なアプリケーションについて議論し、未解決の課題を特定し、有望な研究方向性を強調することで、この分野を前進させるための一貫した基礎的な参照資料を提供することを目指す。既存文献の体系的なまとめは、https://github.com/worldbench/survey で入手可能である。
English
World modeling has become a cornerstone in AI research, enabling agents to
understand, represent, and predict the dynamic environments they inhabit. While
prior work largely emphasizes generative methods for 2D image and video data,
they overlook the rapidly growing body of work that leverages native 3D and 4D
representations such as RGB-D imagery, occupancy grids, and LiDAR point clouds
for large-scale scene modeling. At the same time, the absence of a standardized
definition and taxonomy for ``world models'' has led to fragmented and
sometimes inconsistent claims in the literature. This survey addresses these
gaps by presenting the first comprehensive review explicitly dedicated to 3D
and 4D world modeling and generation. We establish precise definitions,
introduce a structured taxonomy spanning video-based (VideoGen),
occupancy-based (OccGen), and LiDAR-based (LiDARGen) approaches, and
systematically summarize datasets and evaluation metrics tailored to 3D/4D
settings. We further discuss practical applications, identify open challenges,
and highlight promising research directions, aiming to provide a coherent and
foundational reference for advancing the field. A systematic summary of
existing literature is available at https://github.com/worldbench/survey