TAPIP3D: 지속적인 3D 기하 구조에서 임의의 점 추적

TAPIP3D: Tracking Any Point in Persistent 3D Geometry

April 20, 2025

저자: Bowei Zhang, Lei Ke, Adam W. Harley, Katerina Fragkiadaki

cs.AI

초록

우리는 단안 RGB 및 RGB-D 비디오에서 장기간 3D 포인트 트래킹을 위한 새로운 접근법인 TAPIP3D를 소개한다. TAPIP3D는 비디오를 카메라 안정화된 시공간적 특징 구름으로 표현하며, 깊이와 카메라 움직임 정보를 활용하여 2D 비디오 특징을 카메라 움직임이 효과적으로 제거된 3D 세계 공간으로 변환한다. TAPIP3D는 이 안정화된 표현 내에서 다중 프레임 3D 움직임 추정치를 반복적으로 개선함으로써 장기간에 걸친 견고한 트래킹을 가능하게 한다. 3D 포인트 분포의 고유한 불규칙성을 관리하기 위해, 우리는 Local Pair Attention 메커니즘을 제안한다. 이 3D 맥락화 전략은 3D 공간 관계를 효과적으로 활용하여 정밀한 3D 궤적 추정을 위한 정보성 있는 특징 이웃을 형성한다. 우리의 3D 중심 접근법은 기존의 3D 포인트 트래킹 방법들을 크게 능가하며, 정확한 깊이 정보가 있을 때 기존의 2D 픽셀 트래커와 비교하여 2D 트래킹 정확도도 향상시킨다. 이 접근법은 카메라 좌표계(즉, 안정화되지 않은 상태)와 세계 좌표계 모두에서 추론을 지원하며, 우리의 결과는 카메라 움직임을 보상하는 것이 트래킹 성능을 개선함을 보여준다. 우리의 접근법은 기존의 2D 및 3D 트래커에서 사용되던 전통적인 2D 정사각형 상관관계 이웃을 대체함으로써, 다양한 3D 포인트 트래킹 벤치마크에서 더 견고하고 정확한 결과를 이끌어낸다. 프로젝트 페이지: https://tapip3d.github.io

English

We introduce TAPIP3D, a novel approach for long-term 3D point tracking in monocular RGB and RGB-D videos. TAPIP3D represents videos as camera-stabilized spatio-temporal feature clouds, leveraging depth and camera motion information to lift 2D video features into a 3D world space where camera motion is effectively canceled. TAPIP3D iteratively refines multi-frame 3D motion estimates within this stabilized representation, enabling robust tracking over extended periods. To manage the inherent irregularities of 3D point distributions, we propose a Local Pair Attention mechanism. This 3D contextualization strategy effectively exploits spatial relationships in 3D, forming informative feature neighborhoods for precise 3D trajectory estimation. Our 3D-centric approach significantly outperforms existing 3D point tracking methods and even enhances 2D tracking accuracy compared to conventional 2D pixel trackers when accurate depth is available. It supports inference in both camera coordinates (i.e., unstabilized) and world coordinates, and our results demonstrate that compensating for camera motion improves tracking performance. Our approach replaces the conventional 2D square correlation neighborhoods used in prior 2D and 3D trackers, leading to more robust and accurate results across various 3D point tracking benchmarks. Project Page: https://tapip3d.github.io