DreamCar: Aprovechando el Conocimiento Previo Específico de Automóviles para la Reconstrucción 3D de Automóviles en Entornos Naturales

DreamCar: Leveraging Car-specific Prior for in-the-wild 3D Car Reconstruction

July 24, 2024

Autores: Xiaobiao Du, Haiyang Sun, Ming Lu, Tianqing Zhu, Xin Yu

cs.AI

Resumen

Las industrias de conducción autónoma suelen emplear artistas profesionales para construir exquisitos autos en 3D. Sin embargo, resulta costoso crear activos digitales a gran escala. Dado que ya existen numerosos conjuntos de datos disponibles que contienen una gran cantidad de imágenes de autos, nos enfocamos en reconstruir modelos de autos en 3D de alta calidad a partir de estos conjuntos de datos. No obstante, estos conjuntos de datos solo contienen un lado de los autos en la escena en movimiento hacia adelante. Intentamos utilizar los modelos generativos existentes para proporcionar más información de supervisión, pero tienen dificultades para generalizar bien en autos, ya que están entrenados en conjuntos de datos sintéticos que no son específicos de autos. Además, la textura reconstruida de los autos en 3D se desalinea debido a un gran error en la estimación de la pose de la cámara al tratar con imágenes en entornos naturales. Estas limitaciones hacen que sea desafiante para los métodos previos reconstruir autos en 3D completos. Para abordar estos problemas, proponemos un método novedoso, llamado DreamCar, que puede reconstruir autos en 3D de alta calidad dados unas pocas imágenes e incluso una sola imagen. Para generalizar el modelo generativo, recopilamos un conjunto de datos de autos, llamado Car360, con más de 5,600 vehículos. Con este conjunto de datos, hacemos que el modelo generativo sea más robusto para autos. Utilizamos este prior generativo específico para el auto para guiar su reconstrucción a través de Muestreo de Destilación de Puntuación. Para complementar aún más la información de supervisión, utilizamos la simetría geométrica y de apariencia de los autos. Finalmente, proponemos un método de optimización de pose que corrige las poses para abordar la desalineación de texturas. Experimentos extensos demuestran que nuestro método supera significativamente a los métodos existentes en la reconstrucción de autos en 3D de alta calidad. https://xiaobiaodu.github.io/dreamcar-project/ {Nuestro código está disponible.}

English

Self-driving industries usually employ professional artists to build exquisite 3D cars. However, it is expensive to craft large-scale digital assets. Since there are already numerous datasets available that contain a vast number of images of cars, we focus on reconstructing high-quality 3D car models from these datasets. However, these datasets only contain one side of cars in the forward-moving scene. We try to use the existing generative models to provide more supervision information, but they struggle to generalize well in cars since they are trained on synthetic datasets not car-specific. In addition, The reconstructed 3D car texture misaligns due to a large error in camera pose estimation when dealing with in-the-wild images. These restrictions make it challenging for previous methods to reconstruct complete 3D cars. To address these problems, we propose a novel method, named DreamCar, which can reconstruct high-quality 3D cars given a few images even a single image. To generalize the generative model, we collect a car dataset, named Car360, with over 5,600 vehicles. With this dataset, we make the generative model more robust to cars. We use this generative prior specific to the car to guide its reconstruction via Score Distillation Sampling. To further complement the supervision information, we utilize the geometric and appearance symmetry of cars. Finally, we propose a pose optimization method that rectifies poses to tackle texture misalignment. Extensive experiments demonstrate that our method significantly outperforms existing methods in reconstructing high-quality 3D cars. https://xiaobiaodu.github.io/dreamcar-project/{Our code is available.}