DreamCar: Aproveitando o Prévio Específico de Carro para a Reconstrução 3D de Carros em Ambientes Naturais

DreamCar: Leveraging Car-specific Prior for in-the-wild 3D Car Reconstruction

July 24, 2024

Autores: Xiaobiao Du, Haiyang Sun, Ming Lu, Tianqing Zhu, Xin Yu

cs.AI

Resumo

As indústrias de veículos autônomos geralmente contratam artistas profissionais para construir carros 3D requintados. No entanto, é caro criar ativos digitais em grande escala. Uma vez que já existem inúmeros conjuntos de dados disponíveis contendo uma vasta quantidade de imagens de carros, concentramo-nos na reconstrução de modelos de carros 3D de alta qualidade a partir desses conjuntos de dados. No entanto, esses conjuntos de dados contêm apenas um lado dos carros na cena em movimento para frente. Tentamos utilizar os modelos generativos existentes para fornecer mais informações de supervisão, mas eles têm dificuldade em generalizar bem em carros, uma vez que são treinados em conjuntos de dados sintéticos e não específicos de carros. Além disso, a textura reconstruída dos carros 3D está desalinhada devido a um grande erro na estimativa da pose da câmera ao lidar com imagens em ambientes naturais. Essas restrições tornam desafiador para os métodos anteriores reconstruir carros 3D completos. Para lidar com esses problemas, propomos um método inovador, chamado DreamCar, que pode reconstruir carros 3D de alta qualidade a partir de poucas imagens, mesmo uma única imagem. Para generalizar o modelo generativo, coletamos um conjunto de dados de carros, chamado Car360, com mais de 5.600 veículos. Com este conjunto de dados, tornamos o modelo generativo mais robusto em relação a carros. Utilizamos esse conhecimento prévio generativo específico para o carro para orientar sua reconstrução por meio de Amostragem de Destilação de Pontuação. Para complementar ainda mais as informações de supervisão, utilizamos a simetria geométrica e de aparência dos carros. Por fim, propomos um método de otimização de pose que corrige poses para lidar com o desalinhamento de textura. Experimentos extensos demonstram que nosso método supera significativamente os métodos existentes na reconstrução de carros 3D de alta qualidade. [Nosso código está disponível em: https://xiaobiaodu.github.io/dreamcar-project/]

English

Self-driving industries usually employ professional artists to build exquisite 3D cars. However, it is expensive to craft large-scale digital assets. Since there are already numerous datasets available that contain a vast number of images of cars, we focus on reconstructing high-quality 3D car models from these datasets. However, these datasets only contain one side of cars in the forward-moving scene. We try to use the existing generative models to provide more supervision information, but they struggle to generalize well in cars since they are trained on synthetic datasets not car-specific. In addition, The reconstructed 3D car texture misaligns due to a large error in camera pose estimation when dealing with in-the-wild images. These restrictions make it challenging for previous methods to reconstruct complete 3D cars. To address these problems, we propose a novel method, named DreamCar, which can reconstruct high-quality 3D cars given a few images even a single image. To generalize the generative model, we collect a car dataset, named Car360, with over 5,600 vehicles. With this dataset, we make the generative model more robust to cars. We use this generative prior specific to the car to guide its reconstruction via Score Distillation Sampling. To further complement the supervision information, we utilize the geometric and appearance symmetry of cars. Finally, we propose a pose optimization method that rectifies poses to tackle texture misalignment. Extensive experiments demonstrate that our method significantly outperforms existing methods in reconstructing high-quality 3D cars. https://xiaobiaodu.github.io/dreamcar-project/{Our code is available.}