ShapeR: カジュアルな撮影からのロバストな条件付き3D形状生成

要旨

3D形状生成の最近の進歩は目覚ましい成果を上げているが、既存手法の多くはクリーンで遮蔽がなく、適切にセグメントされた入力に依存している。こうした条件は実世界のシナリオでは稀である。本論文では、カジュアルに撮影されたシーケンスからの条件付き3Dオブジェクト形状生成の新規手法であるShapeRを提案する。画像シーケンスが与えられると、我々は既製の視覚慣性SLAM、3D検出アルゴリズム、および視覚言語モデルを活用して、各オブジェクトに対し、スパースなSLAM点群、ポーズ付けされたマルチビュー画像、機械生成キャプションのセットを抽出する。これらのモダリティを効果的に条件付けするように学習された整流フロートランスフォーマーが、高精度なメトリック3D形状を生成する。カジュアルに取得されたデータの課題に対するロバスト性を確保するため、オンザフライの合成的データ拡張、オブジェクトレベルとシーンレベルのデータセットに跨るカリキュラム学習スキーム、背景の雑音を処理する戦略など、様々な技術を採用する。さらに、7つの実世界シーンにわたる178の実環境オブジェクトと形状注釈から構成される新しい評価ベンチマークを導入する。実験結果は、この困難な設定においてShapeRが既存手法を大幅に上回り、チャンファー距離において最新技術と比較して2.7倍の改善を達成することを示している。

English

Recent advances in 3D shape generation have achieved impressive results, but most existing methods rely on clean, unoccluded, and well-segmented inputs. Such conditions are rarely met in real-world scenarios. We present ShapeR, a novel approach for conditional 3D object shape generation from casually captured sequences. Given an image sequence, we leverage off-the-shelf visual-inertial SLAM, 3D detection algorithms, and vision-language models to extract, for each object, a set of sparse SLAM points, posed multi-view images, and machine-generated captions. A rectified flow transformer trained to effectively condition on these modalities then generates high-fidelity metric 3D shapes. To ensure robustness to the challenges of casually captured data, we employ a range of techniques including on-the-fly compositional augmentations, a curriculum training scheme spanning object- and scene-level datasets, and strategies to handle background clutter. Additionally, we introduce a new evaluation benchmark comprising 178 in-the-wild objects across 7 real-world scenes with geometry annotations. Experiments show that ShapeR significantly outperforms existing approaches in this challenging setting, achieving an improvement of 2.7x in Chamfer distance compared to state of the art.

ShapeR: カジュアルな撮影からのロバストな条件付き3D形状生成

ShapeR: Robust Conditional 3D Shape Generation from Casual Captures

要旨

Support