任意の事前知識を伴うDepth Anything

Depth Anything with Any Prior

May 15, 2025

著者: Zehan Wang, Siyu Chen, Lihe Yang, Jialei Wang, Ziang Zhang, Hengshuang Zhao, Zhou Zhao

cs.AI

要旨

本研究では、不完全だが正確なメトリック情報を持つ深度測定と、相対的だが完全な幾何学的構造を持つ深度予測を組み合わせたフレームワーク「Prior Depth Anything」を提案する。これにより、任意のシーンに対して正確で密で詳細なメトリック深度マップを生成する。この目的のために、2つの補完的な深度ソースを段階的に統合する粗から細へのパイプラインを設計した。まず、ピクセルレベルのメトリックアライメントと距離を考慮した重み付けを導入し、深度予測を明示的に使用して多様なメトリック事前情報を事前に埋める。これにより、事前パターン間のドメインギャップを効果的に狭め、さまざまなシナリオでの汎化性能を向上させる。次に、深度事前情報に内在するノイズを除去するための条件付き単眼深度推定（MDE）モデルを開発した。正規化された事前埋め込み情報と予測に条件付けすることで、モデルは2つの補完的な深度ソースをさらに暗黙的に統合する。我々のモデルは、7つの実世界データセットにわたる深度補完、超解像、インペインティングにおいて、印象的なゼロショット汎化性能を示し、従来のタスク固有の手法に匹敵するかそれを上回る結果を達成した。さらに重要なことに、困難で未見の混合事前情報に対しても良好に機能し、予測モデルを切り替えることでテスト時の改善を可能にし、MDEモデルの進化に伴いながら柔軟な精度と効率のトレードオフを提供する。

English

This work presents Prior Depth Anything, a framework that combines incomplete but precise metric information in depth measurement with relative but complete geometric structures in depth prediction, generating accurate, dense, and detailed metric depth maps for any scene. To this end, we design a coarse-to-fine pipeline to progressively integrate the two complementary depth sources. First, we introduce pixel-level metric alignment and distance-aware weighting to pre-fill diverse metric priors by explicitly using depth prediction. It effectively narrows the domain gap between prior patterns, enhancing generalization across varying scenarios. Second, we develop a conditioned monocular depth estimation (MDE) model to refine the inherent noise of depth priors. By conditioning on the normalized pre-filled prior and prediction, the model further implicitly merges the two complementary depth sources. Our model showcases impressive zero-shot generalization across depth completion, super-resolution, and inpainting over 7 real-world datasets, matching or even surpassing previous task-specific methods. More importantly, it performs well on challenging, unseen mixed priors and enables test-time improvements by switching prediction models, providing a flexible accuracy-efficiency trade-off while evolving with advancements in MDE models.