Onzichtbare Stitch: Het Genereren van Vloeiende 3D-Scènes met Diepte-Inpainting

Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting

April 30, 2024

Auteurs: Paul Engstler, Andrea Vedaldi, Iro Laina, Christian Rupprecht

cs.AI

Samenvatting

3D-scènegeneratie is snel uitgegroeid tot een uitdagende nieuwe onderzoeksrichting, aangewakkerd door consistente verbeteringen in 2D-generatieve diffusiemodellen. Het meeste eerdere werk op dit gebied genereert scènes door nieuw gegenereerde frames iteratief samen te voegen met bestaande geometrie. Deze werken zijn vaak afhankelijk van vooraf getrainde monocular diepteschatters om de gegenereerde afbeeldingen naar 3D te tillen en ze te integreren met de bestaande scèneweergave. Deze benaderingen worden vervolgens vaak geëvalueerd via een tekstmetriek, die de gelijkenis meet tussen de gegenereerde afbeeldingen en een gegeven tekstprompt. In dit werk leveren we twee fundamentele bijdragen aan het veld van 3D-scènegeneratie. Ten eerste merken we op dat het tillen van afbeeldingen naar 3D met een monocular diepteschattingsmodel suboptimaal is, omdat het de geometrie van de bestaande scène negeert. We introduceren daarom een nieuw dieptevolledigingsmodel, getraind via teacher-distillatie en zelftraining om het 3D-fusieproces te leren, wat resulteert in een verbeterde geometrische samenhang van de scène. Ten tweede introduceren we een nieuwe benchmarkingsmethode voor scènegeneratiemethoden die gebaseerd is op grondwaarheid-geometrie, en daarmee de kwaliteit van de structuur van de scène meet.

English

3D scene generation has quickly become a challenging new research direction, fueled by consistent improvements of 2D generative diffusion models. Most prior work in this area generates scenes by iteratively stitching newly generated frames with existing geometry. These works often depend on pre-trained monocular depth estimators to lift the generated images into 3D, fusing them with the existing scene representation. These approaches are then often evaluated via a text metric, measuring the similarity between the generated images and a given text prompt. In this work, we make two fundamental contributions to the field of 3D scene generation. First, we note that lifting images to 3D with a monocular depth estimation model is suboptimal as it ignores the geometry of the existing scene. We thus introduce a novel depth completion model, trained via teacher distillation and self-training to learn the 3D fusion process, resulting in improved geometric coherence of the scene. Second, we introduce a new benchmarking scheme for scene generation methods that is based on ground truth geometry, and thus measures the quality of the structure of the scene.