LucidDreamer: Domeinvrije Generatie van 3D Gaussische Splatting-scènes

LucidDreamer: Domain-free Generation of 3D Gaussian Splatting Scenes

November 22, 2023

Auteurs: Jaeyoung Chung, Suyoung Lee, Hyeongjin Nam, Jaerin Lee, Kyoung Mu Lee

cs.AI

Samenvatting

Met de wijdverspreide toepassing van VR-apparaten en -inhoud neemt de vraag naar technieken voor 3D-scènegeneratie toe. Bestaande modellen voor 3D-scènegeneratie beperken de doelscène echter tot een specifiek domein, voornamelijk vanwege hun trainingsstrategieën die gebruikmaken van 3D-scandatasets die ver verwijderd zijn van de realiteit. Om deze beperking aan te pakken, stellen we LucidDreamer voor, een domeinvrije scènegeneratiepipeline die volledig gebruikmaakt van de kracht van bestaande grootschalige, op diffusie gebaseerde generatieve modellen. Onze LucidDreamer bestaat uit twee afwisselende stappen: Dromen en Uitlijnen. Ten eerste, om multi-view consistente afbeeldingen vanuit inputs te genereren, gebruiken we een puntenwolk als geometrische richtlijn voor elke afbeeldinggeneratie. Specifiek projecteren we een deel van de puntenwolk naar de gewenste weergave en gebruiken we deze projectie als leidraad voor inpainting met behulp van het generatieve model. De ingevulde afbeeldingen worden omgezet naar 3D-ruimte met geschatte dieptekaarten, waardoor nieuwe punten worden samengesteld. Ten tweede, om de nieuwe punten te integreren in de 3D-scène, stellen we een uitlijningsalgoritme voor dat de delen van nieuw gegenereerde 3D-scènes harmonieus samenvoegt. De uiteindelijk verkregen 3D-scène dient als initiële punten voor het optimaliseren van Gaussische splats. LucidDreamer produceert Gaussische splats die zeer gedetailleerd zijn in vergelijking met eerdere methoden voor 3D-scènegeneratie, zonder beperkingen op het domein van de doelscène.

English

With the widespread usage of VR devices and contents, demands for 3D scene generation techniques become more popular. Existing 3D scene generation models, however, limit the target scene to specific domain, primarily due to their training strategies using 3D scan dataset that is far from the real-world. To address such limitation, we propose LucidDreamer, a domain-free scene generation pipeline by fully leveraging the power of existing large-scale diffusion-based generative model. Our LucidDreamer has two alternate steps: Dreaming and Alignment. First, to generate multi-view consistent images from inputs, we set the point cloud as a geometrical guideline for each image generation. Specifically, we project a portion of point cloud to the desired view and provide the projection as a guidance for inpainting using the generative model. The inpainted images are lifted to 3D space with estimated depth maps, composing a new points. Second, to aggregate the new points into the 3D scene, we propose an aligning algorithm which harmoniously integrates the portions of newly generated 3D scenes. The finally obtained 3D scene serves as initial points for optimizing Gaussian splats. LucidDreamer produces Gaussian splats that are highly-detailed compared to the previous 3D scene generation methods, with no constraint on domain of the target scene.