TrackingWorld: 世界中心座標系に基づくほぼ全画素の単眼3Dトラッキング

要旨

単眼3Dトラッキングは、単一の単眼ビデオから3D空間内のピクセルの長期的な動きを捉えることを目的とし、近年急速な進歩を遂げている。しかし、既存の単眼3Dトラッキング手法は、前景の動的動きからカメラ運動を分離することが不十分であり、ビデオ内で新たに出現する動的対象を密に追跡できないという問題点がある。これら2つの課題を解決するため、本論文では世界座標系におけるほぼ全てのピクセルの高密度3Dトラッキングを実現する新たなパイプライン「TrackingWorld」を提案する。まず、任意の疎な2Dトラックを効率的に高密度な2Dトラックに変換するトラッキングアップサンプラを導入する。次に、現在のトラッキング手法を新規出現対象に一般化するため、アップサンプラを全フレームに適用し、重複領域のトラックを除去することで2Dトラックの冗長性を低減する。最後に、カメラ姿勢とこれらの2Dトラックの3D座標を推定することで、高密度2Dトラックを世界中心の3D軌跡に逆投影する効率的な最適化ベースのフレームワークを提示する。合成データセットと実世界データセットにおける広範な評価により、本システムが世界座標系において正確かつ高密度な3Dトラッキングを実現することを実証する。

English

Monocular 3D tracking aims to capture the long-term motion of pixels in 3D space from a single monocular video and has witnessed rapid progress in recent years. However, we argue that the existing monocular 3D tracking methods still fall short in separating the camera motion from foreground dynamic motion and cannot densely track newly emerging dynamic subjects in the videos. To address these two limitations, we propose TrackingWorld, a novel pipeline for dense 3D tracking of almost all pixels within a world-centric 3D coordinate system. First, we introduce a tracking upsampler that efficiently lifts the arbitrary sparse 2D tracks into dense 2D tracks. Then, to generalize the current tracking methods to newly emerging objects, we apply the upsampler to all frames and reduce the redundancy of 2D tracks by eliminating the tracks in overlapped regions. Finally, we present an efficient optimization-based framework to back-project dense 2D tracks into world-centric 3D trajectories by estimating the camera poses and the 3D coordinates of these 2D tracks. Extensive evaluations on both synthetic and real-world datasets demonstrate that our system achieves accurate and dense 3D tracking in a world-centric coordinate frame.

TrackingWorld: 世界中心座標系に基づくほぼ全画素の単眼3Dトラッキング

TrackingWorld: World-centric Monocular 3D Tracking of Almost All Pixels

要旨

Support