DreamCar: Sfruttare conoscenze pregne specifiche per auto nella ricostruzione 3D di veicoli in contesti reali

DreamCar: Leveraging Car-specific Prior for in-the-wild 3D Car Reconstruction

July 24, 2024

Autori: Xiaobiao Du, Haiyang Sun, Ming Lu, Tianqing Zhu, Xin Yu

cs.AI

Abstract

Le industrie dei veicoli autonomi impiegano solitamente artisti professionisti per creare auto 3D di alta qualità. Tuttavia, la realizzazione di asset digitali su larga scala è costosa. Poiché esistono già numerosi dataset che contengono un vasto numero di immagini di automobili, ci concentriamo sulla ricostruzione di modelli 3D di alta qualità a partire da questi dataset. Tuttavia, questi dataset contengono solo un lato delle auto in scene di movimento in avanti. Cerchiamo di utilizzare i modelli generativi esistenti per fornire ulteriori informazioni di supervisione, ma questi faticano a generalizzare bene per le auto poiché sono addestrati su dataset sintetici non specifici per le automobili. Inoltre, la texture delle auto 3D ricostruite risulta disallineata a causa di un ampio errore nella stima della posa della fotocamera quando si lavora con immagini reali. Queste limitazioni rendono difficile per i metodi precedenti ricostruire auto 3D complete. Per affrontare questi problemi, proponiamo un nuovo metodo, denominato DreamCar, che può ricostruire auto 3D di alta qualità partendo da poche immagini, persino una sola. Per generalizzare il modello generativo, abbiamo raccolto un dataset di auto, chiamato Car360, con oltre 5.600 veicoli. Con questo dataset, rendiamo il modello generativo più robusto per le auto. Utilizziamo questo prior generativo specifico per le auto per guidarne la ricostruzione tramite Score Distillation Sampling. Per integrare ulteriormente le informazioni di supervisione, sfruttiamo la simmetria geometrica e di aspetto delle auto. Infine, proponiamo un metodo di ottimizzazione della posa che corregge le pose per risolvere il disallineamento delle texture. Esperimenti estensivi dimostrano che il nostro metodo supera significativamente i metodi esistenti nella ricostruzione di auto 3D di alta qualità. https://xiaobiaodu.github.io/dreamcar-project/{Il nostro codice è disponibile.}

English

Self-driving industries usually employ professional artists to build exquisite 3D cars. However, it is expensive to craft large-scale digital assets. Since there are already numerous datasets available that contain a vast number of images of cars, we focus on reconstructing high-quality 3D car models from these datasets. However, these datasets only contain one side of cars in the forward-moving scene. We try to use the existing generative models to provide more supervision information, but they struggle to generalize well in cars since they are trained on synthetic datasets not car-specific. In addition, The reconstructed 3D car texture misaligns due to a large error in camera pose estimation when dealing with in-the-wild images. These restrictions make it challenging for previous methods to reconstruct complete 3D cars. To address these problems, we propose a novel method, named DreamCar, which can reconstruct high-quality 3D cars given a few images even a single image. To generalize the generative model, we collect a car dataset, named Car360, with over 5,600 vehicles. With this dataset, we make the generative model more robust to cars. We use this generative prior specific to the car to guide its reconstruction via Score Distillation Sampling. To further complement the supervision information, we utilize the geometric and appearance symmetry of cars. Finally, we propose a pose optimization method that rectifies poses to tackle texture misalignment. Extensive experiments demonstrate that our method significantly outperforms existing methods in reconstructing high-quality 3D cars. https://xiaobiaodu.github.io/dreamcar-project/{Our code is available.}