DreamCar: Benutting van auto-specifieke voorkennis voor 3D-reconstructie van auto's in natuurlijke omgevingen

DreamCar: Leveraging Car-specific Prior for in-the-wild 3D Car Reconstruction

July 24, 2024

Auteurs: Xiaobiao Du, Haiyang Sun, Ming Lu, Tianqing Zhu, Xin Yu

cs.AI

Samenvatting

Zelfrijdende industrieën maken doorgaans gebruik van professionele artiesten om verfijnde 3D-auto's te bouwen. Het is echter kostbaar om grootschalige digitale assets te creëren. Aangezien er al talloze datasets beschikbaar zijn die een groot aantal afbeeldingen van auto's bevatten, richten wij ons op het reconstrueren van hoogwaardige 3D-automodellen uit deze datasets. Deze datasets bevatten echter slechts één zijde van auto's in een voorwaarts bewegende scène. We proberen bestaande generatieve modellen te gebruiken om meer supervisie-informatie te bieden, maar deze modellen hebben moeite om goed te generaliseren voor auto's, omdat ze zijn getraind op synthetische datasets die niet specifiek voor auto's zijn. Bovendien raakt de gereconstrueerde 3D-autotekstuur uitgelijnd door een grote fout in de camerapose-schatting bij het omgaan met beelden uit de echte wereld. Deze beperkingen maken het voor eerdere methoden uitdagend om complete 3D-auto's te reconstrueren. Om deze problemen aan te pakken, stellen we een nieuwe methode voor, genaamd DreamCar, die hoogwaardige 3D-auto's kan reconstrueren op basis van een paar afbeeldingen, zelfs een enkele afbeelding. Om het generatieve model te generaliseren, hebben we een autodataset verzameld, genaamd Car360, met meer dan 5.600 voertuigen. Met deze dataset maken we het generatieve model robuuster voor auto's. We gebruiken deze auto-specifieke generatieve prior om de reconstructie te begeleiden via Score Distillation Sampling. Om de supervisie-informatie verder aan te vullen, maken we gebruik van de geometrische en uiterlijke symmetrie van auto's. Ten slotte stellen we een pose-optimalisatiemethode voor die poses corrigeert om tekstuuruitlijning aan te pakken. Uitgebreide experimenten tonen aan dat onze methode aanzienlijk beter presteert dan bestaande methoden in het reconstrueren van hoogwaardige 3D-auto's. https://xiaobiaodu.github.io/dreamcar-project/{Onze code is beschikbaar.}

English

Self-driving industries usually employ professional artists to build exquisite 3D cars. However, it is expensive to craft large-scale digital assets. Since there are already numerous datasets available that contain a vast number of images of cars, we focus on reconstructing high-quality 3D car models from these datasets. However, these datasets only contain one side of cars in the forward-moving scene. We try to use the existing generative models to provide more supervision information, but they struggle to generalize well in cars since they are trained on synthetic datasets not car-specific. In addition, The reconstructed 3D car texture misaligns due to a large error in camera pose estimation when dealing with in-the-wild images. These restrictions make it challenging for previous methods to reconstruct complete 3D cars. To address these problems, we propose a novel method, named DreamCar, which can reconstruct high-quality 3D cars given a few images even a single image. To generalize the generative model, we collect a car dataset, named Car360, with over 5,600 vehicles. With this dataset, we make the generative model more robust to cars. We use this generative prior specific to the car to guide its reconstruction via Score Distillation Sampling. To further complement the supervision information, we utilize the geometric and appearance symmetry of cars. Finally, we propose a pose optimization method that rectifies poses to tackle texture misalignment. Extensive experiments demonstrate that our method significantly outperforms existing methods in reconstructing high-quality 3D cars. https://xiaobiaodu.github.io/dreamcar-project/{Our code is available.}