Point Invisible : Génération de scènes 3D fluides par inpainting de profondeur

Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting

April 30, 2024

Auteurs: Paul Engstler, Andrea Vedaldi, Iro Laina, Christian Rupprecht

cs.AI

Résumé

La génération de scènes 3D est rapidement devenue une nouvelle direction de recherche exigeante, stimulée par les améliorations constantes des modèles de diffusion génératifs 2D. La plupart des travaux antérieurs dans ce domaine génèrent des scènes en assemblant itérativement de nouvelles images générées avec la géométrie existante. Ces travaux s'appuient souvent sur des estimateurs de profondeur monoculaire pré-entraînés pour transformer les images générées en 3D, en les fusionnant avec la représentation existante de la scène. Ces approches sont ensuite généralement évaluées via une métrique textuelle, mesurant la similarité entre les images générées et une invite textuelle donnée. Dans ce travail, nous apportons deux contributions fondamentales au domaine de la génération de scènes 3D. Premièrement, nous constatons que la transformation d'images en 3D à l'aide d'un modèle d'estimation de profondeur monoculaire est sous-optimale car elle ignore la géométrie de la scène existante. Nous introduisons donc un nouveau modèle de complétion de profondeur, entraîné par distillation d'enseignant et auto-apprentissage pour maîtriser le processus de fusion 3D, ce qui améliore la cohérence géométrique de la scène. Deuxièmement, nous proposons un nouveau schéma de référencement pour les méthodes de génération de scènes, basé sur la géométrie de référence, permettant ainsi de mesurer la qualité de la structure de la scène.

English

3D scene generation has quickly become a challenging new research direction, fueled by consistent improvements of 2D generative diffusion models. Most prior work in this area generates scenes by iteratively stitching newly generated frames with existing geometry. These works often depend on pre-trained monocular depth estimators to lift the generated images into 3D, fusing them with the existing scene representation. These approaches are then often evaluated via a text metric, measuring the similarity between the generated images and a given text prompt. In this work, we make two fundamental contributions to the field of 3D scene generation. First, we note that lifting images to 3D with a monocular depth estimation model is suboptimal as it ignores the geometry of the existing scene. We thus introduce a novel depth completion model, trained via teacher distillation and self-training to learn the 3D fusion process, resulting in improved geometric coherence of the scene. Second, we introduce a new benchmarking scheme for scene generation methods that is based on ground truth geometry, and thus measures the quality of the structure of the scene.