Puntada Invisible: Generación de Escenas 3D Suaves con Relleno de Profundidad

Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting

April 30, 2024

Autores: Paul Engstler, Andrea Vedaldi, Iro Laina, Christian Rupprecht

cs.AI

Resumen

La generación de escenas 3D se ha convertido rápidamente en una nueva y desafiante dirección de investigación, impulsada por las mejoras constantes en los modelos generativos de difusión 2D. La mayoría de los trabajos previos en esta área generan escenas uniendo iterativamente nuevos fotogramas generados con la geometría existente. Estos trabajos suelen depender de estimadores de profundidad monoculares preentrenados para elevar las imágenes generadas a 3D, fusionándolas con la representación de la escena existente. Estos enfoques se evalúan comúnmente mediante una métrica textual, que mide la similitud entre las imágenes generadas y un texto de referencia dado. En este trabajo, realizamos dos contribuciones fundamentales al campo de la generación de escenas 3D. En primer lugar, observamos que elevar imágenes a 3D con un modelo de estimación de profundidad monocular es subóptimo, ya que ignora la geometría de la escena existente. Por lo tanto, introducimos un nuevo modelo de completado de profundidad, entrenado mediante destilación de profesor y autoentrenamiento para aprender el proceso de fusión 3D, lo que resulta en una mayor coherencia geométrica de la escena. En segundo lugar, presentamos un nuevo esquema de evaluación para métodos de generación de escenas basado en geometría de referencia, lo que permite medir la calidad de la estructura de la escena.

English

3D scene generation has quickly become a challenging new research direction, fueled by consistent improvements of 2D generative diffusion models. Most prior work in this area generates scenes by iteratively stitching newly generated frames with existing geometry. These works often depend on pre-trained monocular depth estimators to lift the generated images into 3D, fusing them with the existing scene representation. These approaches are then often evaluated via a text metric, measuring the similarity between the generated images and a given text prompt. In this work, we make two fundamental contributions to the field of 3D scene generation. First, we note that lifting images to 3D with a monocular depth estimation model is suboptimal as it ignores the geometry of the existing scene. We thus introduce a novel depth completion model, trained via teacher distillation and self-training to learn the 3D fusion process, resulting in improved geometric coherence of the scene. Second, we introduce a new benchmarking scheme for scene generation methods that is based on ground truth geometry, and thus measures the quality of the structure of the scene.