Ponto Invisível: Gerando Cenas 3D Suaves com Preenchimento de Profundidade

Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting

April 30, 2024

Autores: Paul Engstler, Andrea Vedaldi, Iro Laina, Christian Rupprecht

cs.AI

Resumo

A geração de cenas 3D rapidamente se tornou uma nova e desafiadora direção de pesquisa, impulsionada por melhorias consistentes nos modelos generativos de difusão 2D. A maior parte do trabalho anterior nessa área gera cenas iterativamente, unindo novos quadros gerados à geometria existente. Esses trabalhos frequentemente dependem de estimadores de profundidade monoculares pré-treinados para elevar as imagens geradas para 3D, fundindo-as com a representação da cena existente. Essas abordagens são então frequentemente avaliadas por meio de uma métrica textual, medindo a similaridade entre as imagens geradas e um prompt de texto fornecido. Neste trabalho, fazemos duas contribuições fundamentais para o campo da geração de cenas 3D. Primeiro, observamos que elevar imagens para 3D com um modelo de estimativa de profundidade monocular é subótimo, pois ignora a geometria da cena existente. Assim, introduzimos um novo modelo de completamento de profundidade, treinado por meio de destilação de professor e auto-treinamento para aprender o processo de fusão 3D, resultando em uma melhor coerência geométrica da cena. Segundo, introduzimos um novo esquema de avaliação para métodos de geração de cenas que se baseia em geometria de verdade terrestre, medindo assim a qualidade da estrutura da cena.

English

3D scene generation has quickly become a challenging new research direction, fueled by consistent improvements of 2D generative diffusion models. Most prior work in this area generates scenes by iteratively stitching newly generated frames with existing geometry. These works often depend on pre-trained monocular depth estimators to lift the generated images into 3D, fusing them with the existing scene representation. These approaches are then often evaluated via a text metric, measuring the similarity between the generated images and a given text prompt. In this work, we make two fundamental contributions to the field of 3D scene generation. First, we note that lifting images to 3D with a monocular depth estimation model is suboptimal as it ignores the geometry of the existing scene. We thus introduce a novel depth completion model, trained via teacher distillation and self-training to learn the 3D fusion process, resulting in improved geometric coherence of the scene. Second, we introduce a new benchmarking scheme for scene generation methods that is based on ground truth geometry, and thus measures the quality of the structure of the scene.