DreamCar : Exploitation de connaissances préalables spécifiques aux voitures pour la reconstruction 3D de véhicules en conditions réelles

DreamCar: Leveraging Car-specific Prior for in-the-wild 3D Car Reconstruction

July 24, 2024

Auteurs: Xiaobiao Du, Haiyang Sun, Ming Lu, Tianqing Zhu, Xin Yu

cs.AI

Résumé

Les industries de la conduite autonome font généralement appel à des artistes professionnels pour créer des modèles 3D de voitures d'une grande finesse. Cependant, la création d'actifs numériques à grande échelle est coûteuse. Étant donné qu'il existe déjà de nombreux ensembles de données contenant un vaste nombre d'images de voitures, nous nous concentrons sur la reconstruction de modèles 3D de haute qualité à partir de ces ensembles de données. Cependant, ces ensembles de données ne contiennent qu'un seul côté des voitures dans des scènes de mouvement vers l'avant. Nous essayons d'utiliser les modèles génératifs existants pour fournir plus d'informations de supervision, mais ils ont du mal à bien généraliser pour les voitures car ils sont entraînés sur des ensembles de données synthétiques non spécifiques aux voitures. De plus, la texture des voitures 3D reconstruites est mal alignée en raison d'une grande erreur dans l'estimation de la pose de la caméra lors du traitement d'images en conditions réelles. Ces limitations rendent difficile la reconstruction de voitures 3D complètes avec les méthodes précédentes. Pour résoudre ces problèmes, nous proposons une nouvelle méthode, nommée DreamCar, qui peut reconstruire des voitures 3D de haute qualité à partir de quelques images, voire d'une seule image. Pour généraliser le modèle génératif, nous avons collecté un ensemble de données de voitures, nommé Car360, contenant plus de 5 600 véhicules. Avec cet ensemble de données, nous rendons le modèle génératif plus robuste pour les voitures. Nous utilisons ce prior génératif spécifique aux voitures pour guider sa reconstruction via l'échantillonnage par distillation de score. Pour compléter davantage les informations de supervision, nous exploitons la symétrie géométrique et d'apparence des voitures. Enfin, nous proposons une méthode d'optimisation de pose qui corrige les poses pour résoudre le problème de malalignement des textures. Des expériences approfondies démontrent que notre méthode surpasse significativement les méthodes existantes dans la reconstruction de voitures 3D de haute qualité. https://xiaobiaodu.github.io/dreamcar-project/{Notre code est disponible.}

English

Self-driving industries usually employ professional artists to build exquisite 3D cars. However, it is expensive to craft large-scale digital assets. Since there are already numerous datasets available that contain a vast number of images of cars, we focus on reconstructing high-quality 3D car models from these datasets. However, these datasets only contain one side of cars in the forward-moving scene. We try to use the existing generative models to provide more supervision information, but they struggle to generalize well in cars since they are trained on synthetic datasets not car-specific. In addition, The reconstructed 3D car texture misaligns due to a large error in camera pose estimation when dealing with in-the-wild images. These restrictions make it challenging for previous methods to reconstruct complete 3D cars. To address these problems, we propose a novel method, named DreamCar, which can reconstruct high-quality 3D cars given a few images even a single image. To generalize the generative model, we collect a car dataset, named Car360, with over 5,600 vehicles. With this dataset, we make the generative model more robust to cars. We use this generative prior specific to the car to guide its reconstruction via Score Distillation Sampling. To further complement the supervision information, we utilize the geometric and appearance symmetry of cars. Finally, we propose a pose optimization method that rectifies poses to tackle texture misalignment. Extensive experiments demonstrate that our method significantly outperforms existing methods in reconstructing high-quality 3D cars. https://xiaobiaodu.github.io/dreamcar-project/{Our code is available.}