3Dシーン生成：サーベイ

3D Scene Generation: A Survey

May 8, 2025

著者: Beichen Wen, Haozhe Xie, Zhaoxi Chen, Fangzhou Hong, Ziwei Liu

cs.AI

要旨

3Dシーン生成は、没入型メディア、ロボティクス、自動運転、エンボディドAIなどのアプリケーション向けに、空間的に構造化され、意味的に有意義で、フォトリアルな環境を合成することを目指しています。初期の手法は手続き型ルールに基づいており、スケーラビリティはあるものの多様性に限界がありました。近年の深層生成モデル（GAN、拡散モデルなど）や3D表現（NeRF、3Dガウシアンなど）の進展により、現実世界のシーン分布を学習し、忠実度、多様性、視点一貫性が向上しています。拡散モデルなどの最新の進展は、生成を画像や動画合成の問題として再定義することで、3Dシーン合成とフォトリアリズムを橋渡ししています。本調査では、最先端のアプローチを体系的に概観し、それらを4つのパラダイムに分類します：手続き型生成、ニューラル3Dベース生成、画像ベース生成、動画ベース生成。各手法の技術的基盤、トレードオフ、代表的な結果を分析し、一般的に使用されるデータセット、評価プロトコル、下流アプリケーションをレビューします。最後に、生成能力、3D表現、データとアノテーション、評価における主要な課題を議論し、より高い忠実度、物理を考慮したインタラクティブ生成、統一された知覚生成モデルなどの有望な方向性を概説します。本レビューは、3Dシーン生成の最近の進展を整理し、生成AI、3Dビジョン、エンボディドインテリジェンスの交差点における有望な方向性を強調します。進行中の開発を追跡するため、最新のプロジェクトページを維持しています： https://github.com/hzxie/Awesome-3D-Scene-Generation。

English

3D scene generation seeks to synthesize spatially structured, semantically meaningful, and photorealistic environments for applications such as immersive media, robotics, autonomous driving, and embodied AI. Early methods based on procedural rules offered scalability but limited diversity. Recent advances in deep generative models (e.g., GANs, diffusion models) and 3D representations (e.g., NeRF, 3D Gaussians) have enabled the learning of real-world scene distributions, improving fidelity, diversity, and view consistency. Recent advances like diffusion models bridge 3D scene synthesis and photorealism by reframing generation as image or video synthesis problems. This survey provides a systematic overview of state-of-the-art approaches, organizing them into four paradigms: procedural generation, neural 3D-based generation, image-based generation, and video-based generation. We analyze their technical foundations, trade-offs, and representative results, and review commonly used datasets, evaluation protocols, and downstream applications. We conclude by discussing key challenges in generation capacity, 3D representation, data and annotations, and evaluation, and outline promising directions including higher fidelity, physics-aware and interactive generation, and unified perception-generation models. This review organizes recent advances in 3D scene generation and highlights promising directions at the intersection of generative AI, 3D vision, and embodied intelligence. To track ongoing developments, we maintain an up-to-date project page: https://github.com/hzxie/Awesome-3D-Scene-Generation.