NAVI：高品質な3D形状とポーズアノテーションを備えたカテゴリ非依存の画像コレクション

要旨

最近のニューラル再構成技術の進展により、カジュアルに撮影された画像コレクションから高品質な3Dオブジェクトの再構成が可能になりました。現在の技術は、主にStructure-from-Motion（SfM）技術がグラウンドトゥルース（GT）カメラポーズを提供できる比較的単純な画像コレクションで進捗を分析しています。しかし、SfM技術は、背景や照明が異なる画像検索結果のような「in-the-wild」な画像コレクションでは失敗しがちです。カジュアルな画像キャプチャからの3D再構成に関する体系的な研究進展を可能にするため、我々はNAVIを提案します。これは、高品質な3Dスキャンと各画像の2D-3Dアラインメントを提供するカテゴリに依存しない画像コレクションの新しいデータセットであり、ほぼ完璧なGTカメラパラメータを提供します。これらの2D-3Dアラインメントにより、密なピクセル対応、深度マップ、セグメンテーションマップなどの正確な派生アノテーションを抽出できます。我々は、NAVI画像コレクションをさまざまな問題設定で使用し、NAVIが既存のデータセットでは不可能だったより徹底的な評価を可能にすることを示します。NAVIは、3D再構成と対応推定に関する体系的な研究進展に有益であると信じています。プロジェクトページ: https://navidataset.github.io

English

Recent advances in neural reconstruction enable high-quality 3D object reconstruction from casually captured image collections. Current techniques mostly analyze their progress on relatively simple image collections where Structure-from-Motion (SfM) techniques can provide ground-truth (GT) camera poses. We note that SfM techniques tend to fail on in-the-wild image collections such as image search results with varying backgrounds and illuminations. To enable systematic research progress on 3D reconstruction from casual image captures, we propose NAVI: a new dataset of category-agnostic image collections of objects with high-quality 3D scans along with per-image 2D-3D alignments providing near-perfect GT camera parameters. These 2D-3D alignments allow us to extract accurate derivative annotations such as dense pixel correspondences, depth and segmentation maps. We demonstrate the use of NAVI image collections on different problem settings and show that NAVI enables more thorough evaluations that were not possible with existing datasets. We believe NAVI is beneficial for systematic research progress on 3D reconstruction and correspondence estimation. Project page: https://navidataset.github.io

NAVI：高品質な3D形状とポーズアノテーションを備えたカテゴリ非依存の画像コレクション

NAVI: Category-Agnostic Image Collections with High-Quality 3D Shape and Pose Annotations

要旨

Support