Invisible Stitch: 深度補完による滑らかな3Dシーンの生成

Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting

April 30, 2024

著者: Paul Engstler, Andrea Vedaldi, Iro Laina, Christian Rupprecht

cs.AI

要旨

3Dシーン生成は、2D生成拡散モデルの着実な進化に後押しされ、急速に挑戦的な新たな研究分野として台頭してきました。これまでの研究の多くは、新たに生成されたフレームを既存のジオメトリに反復的に結合することでシーンを生成しています。これらの研究では、生成された画像を3Dにリフトアップし、既存のシーン表現と融合させるために、事前学習された単眼深度推定器に依存することが一般的です。これらのアプローチは、生成された画像と与えられたテキストプロンプトとの類似性を測定するテキストメトリクスによって評価されることが多くなっています。本研究では、3Dシーン生成の分野に対して2つの根本的な貢献を行います。まず、単眼深度推定モデルを用いて画像を3Dにリフトアップすることは、既存シーンのジオメトリを無視するため最適ではないことを指摘します。そこで、教師蒸留と自己学習によって3D融合プロセスを学習する新しい深度補完モデルを導入し、シーンの幾何学的整合性を向上させます。次に、グラウンドトゥルースジオメトリに基づく新しいシーン生成手法のベンチマークスキームを提案し、シーンの構造の質を測定します。

English

3D scene generation has quickly become a challenging new research direction, fueled by consistent improvements of 2D generative diffusion models. Most prior work in this area generates scenes by iteratively stitching newly generated frames with existing geometry. These works often depend on pre-trained monocular depth estimators to lift the generated images into 3D, fusing them with the existing scene representation. These approaches are then often evaluated via a text metric, measuring the similarity between the generated images and a given text prompt. In this work, we make two fundamental contributions to the field of 3D scene generation. First, we note that lifting images to 3D with a monocular depth estimation model is suboptimal as it ignores the geometry of the existing scene. We thus introduce a novel depth completion model, trained via teacher distillation and self-training to learn the 3D fusion process, resulting in improved geometric coherence of the scene. Second, we introduce a new benchmarking scheme for scene generation methods that is based on ground truth geometry, and thus measures the quality of the structure of the scene.