동적 카메라 포즈와 그 위치 탐색 방법

Dynamic Camera Poses and Where to Find Them

April 24, 2025

저자: Chris Rockwell, Joseph Tung, Tsung-Yi Lin, Ming-Yu Liu, David F. Fouhey, Chen-Hsuan Lin

cs.AI

초록

대규모로 동적 인터넷 비디오에 카메라 포즈를 주석 처리하는 것은 사실적인 비디오 생성 및 시뮬레이션과 같은 분야의 발전에 매우 중요합니다. 그러나 이러한 데이터셋을 수집하는 것은 대부분의 인터넷 비디오가 포즈 추정에 적합하지 않기 때문에 어려운 작업입니다. 또한 동적 인터넷 비디오에 주석을 처리하는 것은 최첨단 방법들조차도 상당한 도전 과제를 제시합니다. 본 논문에서는 카메라 포즈가 주석 처리된 대규모 동적 인터넷 비디오 데이터셋인 DynPose-100K를 소개합니다. 우리의 수집 파이프라인은 작업 특화 모델과 일반 모델을 신중하게 결합하여 필터링을 수행합니다. 포즈 추정을 위해 최신 포인트 트래킹, 동적 마스킹, 구조적 모션 추정 기술을 결합하여 최첨단 접근법보다 개선된 성능을 달성했습니다. 우리의 분석과 실험은 DynPose-100K가 여러 주요 속성에서 대규모이면서도 다양성을 갖추고 있어 다양한 하위 애플리케이션의 발전을 위한 길을 열어줌을 보여줍니다.

English

Annotating camera poses on dynamic Internet videos at scale is critical for advancing fields like realistic video generation and simulation. However, collecting such a dataset is difficult, as most Internet videos are unsuitable for pose estimation. Furthermore, annotating dynamic Internet videos present significant challenges even for state-of-theart methods. In this paper, we introduce DynPose-100K, a large-scale dataset of dynamic Internet videos annotated with camera poses. Our collection pipeline addresses filtering using a carefully combined set of task-specific and generalist models. For pose estimation, we combine the latest techniques of point tracking, dynamic masking, and structure-from-motion to achieve improvements over the state-of-the-art approaches. Our analysis and experiments demonstrate that DynPose-100K is both large-scale and diverse across several key attributes, opening up avenues for advancements in various downstream applications.