DreamCar: Использование автомобильной специфики для реконструкции 3D-моделей автомобилей в естественных условиях.

DreamCar: Leveraging Car-specific Prior for in-the-wild 3D Car Reconstruction

July 24, 2024

Авторы: Xiaobiao Du, Haiyang Sun, Ming Lu, Tianqing Zhu, Xin Yu

cs.AI

Аннотация

Отрасли автономного вождения обычно нанимают профессиональных художников для создания изысканных 3D-автомобилей. Однако создание цифровых активов крупного масштаба является дорогостоящим. Поскольку уже существует множество наборов данных, содержащих огромное количество изображений автомобилей, мы сосредотачиваемся на восстановлении высококачественных 3D-моделей автомобилей из этих наборов данных. Однако эти наборы данных содержат только одну сторону автомобилей в сцене движущегося вперед. Мы пытаемся использовать существующие генеративные модели для предоставления дополнительной информации о надзоре, но они испытывают затруднения с обобщением в автомобилях, поскольку обучены на синтетических наборах данных, не специфичных для автомобилей. Кроме того, восстановленная текстура 3D-автомобиля смещается из-за большой ошибки в оценке положения камеры при работе с изображениями в естественных условиях. Эти ограничения делают вызовом для предыдущих методов восстановление полных 3D-автомобилей. Для решения этих проблем мы предлагаем новый метод, названный DreamCar, который способен восстанавливать высококачественные 3D-автомобили по нескольким изображениям, даже по одному. Для обобщения генеративной модели мы собираем набор данных автомобилей, названный Car360, с более чем 5 600 транспортными средствами. С помощью этого набора данных мы делаем генеративную модель более устойчивой к автомобилям. Мы используем этот генеративный априори, специфичный для автомобилей, чтобы направлять его восстановление с помощью выборки по дистилляции оценки. Для дополнения информации о надзоре мы используем геометрическую и внешнюю симметрию автомобилей. Наконец, мы предлагаем метод оптимизации положения, который исправляет положения для решения проблемы смещения текстуры. Обширные эксперименты показывают, что наш метод значительно превосходит существующие методы в восстановлении высококачественных 3D-автомобилей. {Наш код доступен по ссылке: https://xiaobiaodu.github.io/dreamcar-project/}

English

Self-driving industries usually employ professional artists to build exquisite 3D cars. However, it is expensive to craft large-scale digital assets. Since there are already numerous datasets available that contain a vast number of images of cars, we focus on reconstructing high-quality 3D car models from these datasets. However, these datasets only contain one side of cars in the forward-moving scene. We try to use the existing generative models to provide more supervision information, but they struggle to generalize well in cars since they are trained on synthetic datasets not car-specific. In addition, The reconstructed 3D car texture misaligns due to a large error in camera pose estimation when dealing with in-the-wild images. These restrictions make it challenging for previous methods to reconstruct complete 3D cars. To address these problems, we propose a novel method, named DreamCar, which can reconstruct high-quality 3D cars given a few images even a single image. To generalize the generative model, we collect a car dataset, named Car360, with over 5,600 vehicles. With this dataset, we make the generative model more robust to cars. We use this generative prior specific to the car to guide its reconstruction via Score Distillation Sampling. To further complement the supervision information, we utilize the geometric and appearance symmetry of cars. Finally, we propose a pose optimization method that rectifies poses to tackle texture misalignment. Extensive experiments demonstrate that our method significantly outperforms existing methods in reconstructing high-quality 3D cars. https://xiaobiaodu.github.io/dreamcar-project/{Our code is available.}