DreamCar: Nutzung von fahrzeugspezifischem Vorwissen für die 3D-Rekonstruktion von Autos in freier Wildbahn

DreamCar: Leveraging Car-specific Prior for in-the-wild 3D Car Reconstruction

July 24, 2024

Autoren: Xiaobiao Du, Haiyang Sun, Ming Lu, Tianqing Zhu, Xin Yu

cs.AI

Zusammenfassung

Die selbstfahrenden Industrien beschäftigen in der Regel professionelle Künstler, um exquisite 3D-Autos zu erstellen. Es ist jedoch teuer, großformatige digitale Assets zu erstellen. Da bereits zahlreiche Datensätze verfügbar sind, die eine große Anzahl von Bildern von Autos enthalten, konzentrieren wir uns darauf, hochwertige 3D-Automodelle aus diesen Datensätzen zu rekonstruieren. Allerdings enthalten diese Datensätze nur eine Seite der Autos in der vorwärts bewegten Szene. Wir versuchen, die vorhandenen generativen Modelle zu nutzen, um mehr Überwachungsinformationen bereitzustellen, aber sie haben Schwierigkeiten, sich gut zu generalisieren, da sie auf synthetischen Datensätzen trainiert sind, die nicht spezifisch für Autos sind. Darüber hinaus kommt es aufgrund eines großen Fehlers bei der Kamerapositionsschätzung bei der Verarbeitung von Bildern aus der Wildnis zu einer Verschiebung der rekonstruierten 3D-Auto-Textur. Diese Einschränkungen machen es für frühere Methoden herausfordernd, vollständige 3D-Autos zu rekonstruieren. Um diese Probleme anzugehen, schlagen wir eine neuartige Methode namens DreamCar vor, die hochwertige 3D-Autos rekonstruieren kann, selbst wenn nur wenige Bilder oder sogar nur ein einziges Bild vorliegen. Um das generative Modell zu generalisieren, sammeln wir einen Autodatensatz namens Car360 mit über 5.600 Fahrzeugen. Mit diesem Datensatz machen wir das generative Modell robuster für Autos. Wir verwenden dieses generative Prior spezifisch für das Auto, um seine Rekonstruktion über Score Distillation Sampling zu führen. Um die Überwachungsinformationen weiter zu ergänzen, nutzen wir die geometrische und optische Symmetrie von Autos. Schließlich schlagen wir eine Pose-Optimierungsmethode vor, die die Positionen korrigiert, um Texturverschiebungen zu beheben. Umfangreiche Experimente zeigen, dass unsere Methode bestehende Methoden signifikant in der Rekonstruktion hochwertiger 3D-Autos übertrifft. Unsere Codes sind verfügbar unter: https://xiaobiaodu.github.io/dreamcar-project/

English

Self-driving industries usually employ professional artists to build exquisite 3D cars. However, it is expensive to craft large-scale digital assets. Since there are already numerous datasets available that contain a vast number of images of cars, we focus on reconstructing high-quality 3D car models from these datasets. However, these datasets only contain one side of cars in the forward-moving scene. We try to use the existing generative models to provide more supervision information, but they struggle to generalize well in cars since they are trained on synthetic datasets not car-specific. In addition, The reconstructed 3D car texture misaligns due to a large error in camera pose estimation when dealing with in-the-wild images. These restrictions make it challenging for previous methods to reconstruct complete 3D cars. To address these problems, we propose a novel method, named DreamCar, which can reconstruct high-quality 3D cars given a few images even a single image. To generalize the generative model, we collect a car dataset, named Car360, with over 5,600 vehicles. With this dataset, we make the generative model more robust to cars. We use this generative prior specific to the car to guide its reconstruction via Score Distillation Sampling. To further complement the supervision information, we utilize the geometric and appearance symmetry of cars. Finally, we propose a pose optimization method that rectifies poses to tackle texture misalignment. Extensive experiments demonstrate that our method significantly outperforms existing methods in reconstructing high-quality 3D cars. https://xiaobiaodu.github.io/dreamcar-project/{Our code is available.}