Невидимый шов: Генерация плавных 3D сцен с заполнением глубины

Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting

April 30, 2024

Авторы: Paul Engstler, Andrea Vedaldi, Iro Laina, Christian Rupprecht

cs.AI

Аннотация

Генерация трехмерных сцен быстро стала сложным новым направлением исследований, стимулированным последовательными улучшениями моделей диффузии для генерации двумерных изображений. Большинство предыдущих работ в этой области создают сцены, путем итеративного склеивания вновь сгенерированных кадров с существующей геометрией. Эти работы часто зависят от предварительно обученных оценщиков монокулярной глубины для преобразования сгенерированных изображений в трехмерные, объединяя их с представлением сцены. Затем эти подходы часто оцениваются с помощью текстовой метрики, измеряющей сходство между сгенерированными изображениями и заданным текстовым запросом. В данной работе мы вносим два фундаментальных вклада в область генерации трехмерных сцен. Во-первых, мы отмечаем, что преобразование изображений в трехмерное пространство с помощью модели оценки монокулярной глубины является неоптимальным, поскольку игнорирует геометрию существующей сцены. Мы представляем новую модель завершения глубины, обученную с использованием дистилляции учителя и самообучения для изучения процесса трехмерного слияния, что приводит к улучшенной геометрической согласованности сцены. Во-вторых, мы вводим новую схему бенчмаркинга для методов генерации сцен, основанную на геометрии истинных данных, и таким образом измеряем качество структуры сцены.

English

3D scene generation has quickly become a challenging new research direction, fueled by consistent improvements of 2D generative diffusion models. Most prior work in this area generates scenes by iteratively stitching newly generated frames with existing geometry. These works often depend on pre-trained monocular depth estimators to lift the generated images into 3D, fusing them with the existing scene representation. These approaches are then often evaluated via a text metric, measuring the similarity between the generated images and a given text prompt. In this work, we make two fundamental contributions to the field of 3D scene generation. First, we note that lifting images to 3D with a monocular depth estimation model is suboptimal as it ignores the geometry of the existing scene. We thus introduce a novel depth completion model, trained via teacher distillation and self-training to learn the 3D fusion process, resulting in improved geometric coherence of the scene. Second, we introduce a new benchmarking scheme for scene generation methods that is based on ground truth geometry, and thus measures the quality of the structure of the scene.