DreamCar: 야외 환경에서의 3D 자동차 재구성을 위한 자동차 특화 사전 지식 활용

DreamCar: Leveraging Car-specific Prior for in-the-wild 3D Car Reconstruction

July 24, 2024

저자: Xiaobiao Du, Haiyang Sun, Ming Lu, Tianqing Zhu, Xin Yu

cs.AI

초록

자율주행 산업에서는 일반적으로 전문 아티스트를 고용해 정교한 3D 자동차 모델을 제작합니다. 그러나 대규모 디지털 자산을 만드는 데는 비용이 많이 듭니다. 이미 자동차 이미지를 대량으로 포함한 다양한 데이터셋이 존재하기 때문에, 우리는 이러한 데이터셋에서 고품질 3D 자동차 모델을 재구성하는 데 초점을 맞췄습니다. 하지만 이러한 데이터셋은 전진하는 장면에서 자동차의 한쪽 면만을 포함하고 있습니다. 기존 생성 모델을 활용해 더 많은 감독 정보를 제공하려고 시도했지만, 이 모델들은 자동차에 특화된 데이터셋이 아닌 합성 데이터셋으로 학습되었기 때문에 자동차에 대해 잘 일반화하지 못합니다. 또한, 야외 이미지를 다룰 때 카메라 포즈 추정의 큰 오류로 인해 재구성된 3D 자동차 텍스처가 어긋나는 문제가 발생합니다. 이러한 제약으로 인해 기존 방법들은 완전한 3D 자동차를 재구성하는 데 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 우리는 소수의 이미지, 심지어 단일 이미지로도 고품질 3D 자동차를 재구성할 수 있는 새로운 방법인 DreamCar를 제안합니다. 생성 모델을 일반화하기 위해, 우리는 5,600대 이상의 자동차를 포함한 Car360 데이터셋을 수집했습니다. 이 데이터셋을 통해 생성 모델이 자동차에 대해 더 강력해지도록 했습니다. 우리는 이 자동차 특화 생성 사전 지식을 Score Distillation Sampling을 통해 재구성을 안내하는 데 사용합니다. 감독 정보를 더 보완하기 위해, 자동차의 기하학적 및 외관 대칭성을 활용합니다. 마지막으로, 텍스처 어긋남 문제를 해결하기 위해 포즈 최적화 방법을 제안합니다. 광범위한 실험을 통해 우리의 방법이 고품질 3D 자동차 재구성에서 기존 방법들을 크게 능가함을 입증했습니다. https://xiaobiaodu.github.io/dreamcar-project/{코드를 제공합니다.}

English

Self-driving industries usually employ professional artists to build exquisite 3D cars. However, it is expensive to craft large-scale digital assets. Since there are already numerous datasets available that contain a vast number of images of cars, we focus on reconstructing high-quality 3D car models from these datasets. However, these datasets only contain one side of cars in the forward-moving scene. We try to use the existing generative models to provide more supervision information, but they struggle to generalize well in cars since they are trained on synthetic datasets not car-specific. In addition, The reconstructed 3D car texture misaligns due to a large error in camera pose estimation when dealing with in-the-wild images. These restrictions make it challenging for previous methods to reconstruct complete 3D cars. To address these problems, we propose a novel method, named DreamCar, which can reconstruct high-quality 3D cars given a few images even a single image. To generalize the generative model, we collect a car dataset, named Car360, with over 5,600 vehicles. With this dataset, we make the generative model more robust to cars. We use this generative prior specific to the car to guide its reconstruction via Score Distillation Sampling. To further complement the supervision information, we utilize the geometric and appearance symmetry of cars. Finally, we propose a pose optimization method that rectifies poses to tackle texture misalignment. Extensive experiments demonstrate that our method significantly outperforms existing methods in reconstructing high-quality 3D cars. https://xiaobiaodu.github.io/dreamcar-project/{Our code is available.}