TAPIP3D: 持続的3Dジオメトリ内の任意の点の追跡

TAPIP3D: Tracking Any Point in Persistent 3D Geometry

April 20, 2025

著者: Bowei Zhang, Lei Ke, Adam W. Harley, Katerina Fragkiadaki

cs.AI

要旨

TAPIP3Dを紹介します。これは、単眼RGBおよびRGB-Dビデオにおける長期3Dポイントトラッキングのための新しいアプローチです。TAPIP3Dは、ビデオをカメラ安定化された時空間特徴クラウドとして表現し、深度とカメラ運動情報を活用して2Dビデオ特徴を3Dワールド空間に持ち上げ、カメラ運動を効果的にキャンセルします。TAPIP3Dは、この安定化された表現内で複数フレームの3D運動推定を反復的に改善し、長期間にわたる堅牢なトラッキングを可能にします。3Dポイント分布の固有の不規則性を管理するために、ローカルペアアテンションメカニズムを提案します。この3Dコンテクスト化戦略は、3D空間内の空間関係を効果的に活用し、正確な3D軌道推定のための情報豊富な特徴近傍を形成します。私たちの3D中心のアプローチは、既存の3Dポイントトラッキング手法を大幅に上回り、正確な深度が利用可能な場合には、従来の2Dピクセルトラッカーと比較しても2Dトラッキング精度を向上させます。カメラ座標（つまり、非安定化）とワールド座標の両方での推論をサポートし、カメラ運動を補償することがトラッキング性能を向上させることを結果が示しています。私たちのアプローチは、従来の2Dおよび3Dトラッカーで使用されていた2D正方形相関近傍を置き換え、さまざまな3Dポイントトラッキングベンチマークでより堅牢で正確な結果をもたらします。プロジェクトページ: https://tapip3d.github.io

English

We introduce TAPIP3D, a novel approach for long-term 3D point tracking in monocular RGB and RGB-D videos. TAPIP3D represents videos as camera-stabilized spatio-temporal feature clouds, leveraging depth and camera motion information to lift 2D video features into a 3D world space where camera motion is effectively canceled. TAPIP3D iteratively refines multi-frame 3D motion estimates within this stabilized representation, enabling robust tracking over extended periods. To manage the inherent irregularities of 3D point distributions, we propose a Local Pair Attention mechanism. This 3D contextualization strategy effectively exploits spatial relationships in 3D, forming informative feature neighborhoods for precise 3D trajectory estimation. Our 3D-centric approach significantly outperforms existing 3D point tracking methods and even enhances 2D tracking accuracy compared to conventional 2D pixel trackers when accurate depth is available. It supports inference in both camera coordinates (i.e., unstabilized) and world coordinates, and our results demonstrate that compensating for camera motion improves tracking performance. Our approach replaces the conventional 2D square correlation neighborhoods used in prior 2D and 3D trackers, leading to more robust and accurate results across various 3D point tracking benchmarks. Project Page: https://tapip3d.github.io