Invisible Stitch: Generazione di Scene 3D Fluide con Depth Inpainting

Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting

April 30, 2024

Autori: Paul Engstler, Andrea Vedaldi, Iro Laina, Christian Rupprecht

cs.AI

Abstract

La generazione di scene 3D è rapidamente diventata una nuova e impegnativa direzione di ricerca, alimentata dai continui miglioramenti dei modelli generativi di diffusione 2D. La maggior parte dei lavori precedenti in questo ambito genera scene unendo iterativamente nuovi frame generati con la geometria esistente. Questi lavori spesso si basano su stimatori di profondità monoculari pre-addestrati per elevare le immagini generate in 3D, fondendole con la rappresentazione della scena esistente. Questi approcci vengono poi spesso valutati tramite una metrica testuale, misurando la somiglianza tra le immagini generate e un prompt testuale dato. In questo lavoro, apportiamo due contributi fondamentali al campo della generazione di scene 3D. In primo luogo, osserviamo che elevare le immagini in 3D con un modello di stima della profondità monoculare è subottimale poiché ignora la geometria della scena esistente. Introduciamo quindi un nuovo modello di completamento della profondità, addestrato tramite distillazione insegnante e auto-addestramento per apprendere il processo di fusione 3D, ottenendo una migliore coerenza geometrica della scena. In secondo luogo, proponiamo un nuovo schema di benchmarking per i metodi di generazione di scene basato sulla geometria di riferimento, che misura quindi la qualità della struttura della scena.

English

3D scene generation has quickly become a challenging new research direction, fueled by consistent improvements of 2D generative diffusion models. Most prior work in this area generates scenes by iteratively stitching newly generated frames with existing geometry. These works often depend on pre-trained monocular depth estimators to lift the generated images into 3D, fusing them with the existing scene representation. These approaches are then often evaluated via a text metric, measuring the similarity between the generated images and a given text prompt. In this work, we make two fundamental contributions to the field of 3D scene generation. First, we note that lifting images to 3D with a monocular depth estimation model is suboptimal as it ignores the geometry of the existing scene. We thus introduce a novel depth completion model, trained via teacher distillation and self-training to learn the 3D fusion process, resulting in improved geometric coherence of the scene. Second, we introduce a new benchmarking scheme for scene generation methods that is based on ground truth geometry, and thus measures the quality of the structure of the scene.