Unsichtbarer Stich: Generierung von reibungslosen 3D-Szenen mit Tiefeninpainting

Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting

April 30, 2024

Autoren: Paul Engstler, Andrea Vedaldi, Iro Laina, Christian Rupprecht

cs.AI

Zusammenfassung

Die Generierung von 3D-Szenen ist schnell zu einer anspruchsvollen neuen Forschungsrichtung geworden, angetrieben durch kontinuierliche Verbesserungen von 2D-generativen Diffusionsmodellen. Die meisten früheren Arbeiten in diesem Bereich generieren Szenen, indem sie iterativ neu generierte Frames mit vorhandener Geometrie zusammensetzen. Diese Arbeiten sind oft auf vortrainierte monokulare Tiefenschätzer angewiesen, um die generierten Bilder in 3D zu überführen, sie mit der vorhandenen Szenenrepräsentation zu verschmelzen. Diese Ansätze werden dann oft anhand eines Textmetriks evaluiert, der die Ähnlichkeit zwischen den generierten Bildern und einem gegebenen Textprompt misst. In dieser Arbeit leisten wir zwei grundlegende Beiträge auf dem Gebiet der 3D-Szenengenerierung. Erstens stellen wir fest, dass das Anheben von Bildern auf 3D mit einem monokularen Tiefenschätzmodell suboptimal ist, da es die Geometrie der vorhandenen Szene ignoriert. Wir führen daher ein neuartiges Tiefenvervollständigungsmodell ein, das über Lehrerdistillation und Selbsttraining trainiert wird, um den 3D-Fusionsprozess zu erlernen, was zu einer verbesserten geometrischen Kohärenz der Szene führt. Zweitens führen wir ein neues Benchmarking-Schema für Methoden zur Szenengenerierung ein, das auf Ground-Truth-Geometrie basiert und somit die Qualität der Struktur der Szene misst.

English

3D scene generation has quickly become a challenging new research direction, fueled by consistent improvements of 2D generative diffusion models. Most prior work in this area generates scenes by iteratively stitching newly generated frames with existing geometry. These works often depend on pre-trained monocular depth estimators to lift the generated images into 3D, fusing them with the existing scene representation. These approaches are then often evaluated via a text metric, measuring the similarity between the generated images and a given text prompt. In this work, we make two fundamental contributions to the field of 3D scene generation. First, we note that lifting images to 3D with a monocular depth estimation model is suboptimal as it ignores the geometry of the existing scene. We thus introduce a novel depth completion model, trained via teacher distillation and self-training to learn the 3D fusion process, resulting in improved geometric coherence of the scene. Second, we introduce a new benchmarking scheme for scene generation methods that is based on ground truth geometry, and thus measures the quality of the structure of the scene.