4次元空間知能の再構築：サーベイ

Reconstructing 4D Spatial Intelligence: A Survey

July 28, 2025

著者: Yukang Cao, Jiahao Lu, Zhisheng Huang, Zhuowei Shen, Chengfeng Zhao, Fangzhou Hong, Zhaoxi Chen, Xin Li, Wenping Wang, Yuan Liu, Ziwei Liu

cs.AI

要旨

視覚観察から4次元空間知能を再構築することは、コンピュータビジョンにおいて長らく中心的な課題でありながらも困難なテーマであり、幅広い実世界の応用が存在します。これらの応用は、映画などのエンターテインメント分野（基本的な視覚要素の再構築に焦点が当てられることが多い）から、エンボディードAI（相互作用のモデリングや物理的なリアリズムを重視する）まで多岐にわたります。3D表現や深層学習アーキテクチャの急速な進展に後押しされ、この分野は急速に進化しており、過去のサーベイの範囲を超えています。さらに、既存のサーベイでは、4Dシーン再構築の階層構造を包括的に分析することはほとんどありません。このギャップを埋めるため、我々は既存の手法を5つの段階的な4次元空間知能のレベルに整理する新たな視点を提示します：(1) レベル1 — 低次元の3D属性（深度、ポーズ、ポイントマップなど）の再構築、(2) レベル2 — 3Dシーン構成要素（物体、人間、構造物など）の再構築、(3) レベル3 — 4D動的シーンの再構築、(4) レベル4 — シーン構成要素間の相互作用のモデリング、(5) レベル5 — 物理法則と制約の組み込み。本サーベイでは、各レベルにおける主要な課題を議論し、より豊かな4次元空間知能に向けた有望な方向性を強調します。継続的な進展を追跡するため、最新のプロジェクトページを維持しています: https://github.com/yukangcao/Awesome-4D-Spatial-Intelligence。

English

Reconstructing 4D spatial intelligence from visual observations has long been a central yet challenging task in computer vision, with broad real-world applications. These range from entertainment domains like movies, where the focus is often on reconstructing fundamental visual elements, to embodied AI, which emphasizes interaction modeling and physical realism. Fueled by rapid advances in 3D representations and deep learning architectures, the field has evolved quickly, outpacing the scope of previous surveys. Additionally, existing surveys rarely offer a comprehensive analysis of the hierarchical structure of 4D scene reconstruction. To address this gap, we present a new perspective that organizes existing methods into five progressive levels of 4D spatial intelligence: (1) Level 1 -- reconstruction of low-level 3D attributes (e.g., depth, pose, and point maps); (2) Level 2 -- reconstruction of 3D scene components (e.g., objects, humans, structures); (3) Level 3 -- reconstruction of 4D dynamic scenes; (4) Level 4 -- modeling of interactions among scene components; and (5) Level 5 -- incorporation of physical laws and constraints. We conclude the survey by discussing the key challenges at each level and highlighting promising directions for advancing toward even richer levels of 4D spatial intelligence. To track ongoing developments, we maintain an up-to-date project page: https://github.com/yukangcao/Awesome-4D-Spatial-Intelligence.