DreamCar: 実環境における3D車両再構築のための車両固有の事前知識の活用

DreamCar: Leveraging Car-specific Prior for in-the-wild 3D Car Reconstruction

July 24, 2024

著者: Xiaobiao Du, Haiyang Sun, Ming Lu, Tianqing Zhu, Xin Yu

cs.AI

要旨

自動運転業界では通常、プロのアーティストを雇って精巧な3D車両を作成しています。しかし、大規模なデジタルアセットを制作するのは高コストです。既に多数の車両画像を含むデータセットが利用可能であることから、私たちはこれらのデータセットから高品質な3D車両モデルを再構築することに焦点を当てています。しかし、これらのデータセットには前進シーンにおける車両の片面しか含まれていません。既存の生成モデルを使用してより多くの監督情報を提供しようと試みましたが、これらのモデルは車両に特化したデータセットで訓練されていないため、車両に対してうまく一般化できません。さらに、実世界の画像を扱う際にカメラポーズ推定の大きな誤差により、再構築された3D車両のテクスチャがずれてしまいます。これらの制約により、従来の手法では完全な3D車両を再構築することが困難でした。これらの問題を解決するために、私たちはDreamCarという新しい手法を提案します。この手法は、わずかな画像、さらには単一の画像からでも高品質な3D車両を再構築することができます。生成モデルを一般化するために、5,600台以上の車両を含むCar360というデータセットを収集しました。このデータセットを使用して、生成モデルを車両に対してよりロバストにしました。この車両に特化した生成事前分布を、Score Distillation Samplingを介して再構築をガイドするために使用します。さらに、監督情報を補完するために、車両の幾何学的および外観的な対称性を利用します。最後に、テクスチャのずれを解決するためにポーズを最適化する手法を提案します。大規模な実験により、私たちの手法が既存の手法を大幅に上回り、高品質な3D車両を再構築できることが実証されました。https://xiaobiaodu.github.io/dreamcar-project/{私たちのコードは公開されています。}

English

Self-driving industries usually employ professional artists to build exquisite 3D cars. However, it is expensive to craft large-scale digital assets. Since there are already numerous datasets available that contain a vast number of images of cars, we focus on reconstructing high-quality 3D car models from these datasets. However, these datasets only contain one side of cars in the forward-moving scene. We try to use the existing generative models to provide more supervision information, but they struggle to generalize well in cars since they are trained on synthetic datasets not car-specific. In addition, The reconstructed 3D car texture misaligns due to a large error in camera pose estimation when dealing with in-the-wild images. These restrictions make it challenging for previous methods to reconstruct complete 3D cars. To address these problems, we propose a novel method, named DreamCar, which can reconstruct high-quality 3D cars given a few images even a single image. To generalize the generative model, we collect a car dataset, named Car360, with over 5,600 vehicles. With this dataset, we make the generative model more robust to cars. We use this generative prior specific to the car to guide its reconstruction via Score Distillation Sampling. To further complement the supervision information, we utilize the geometric and appearance symmetry of cars. Finally, we propose a pose optimization method that rectifies poses to tackle texture misalignment. Extensive experiments demonstrate that our method significantly outperforms existing methods in reconstructing high-quality 3D cars. https://xiaobiaodu.github.io/dreamcar-project/{Our code is available.}