Pose dinamiche della telecamera e dove trovarle

Dynamic Camera Poses and Where to Find Them

April 24, 2025

Autori: Chris Rockwell, Joseph Tung, Tsung-Yi Lin, Ming-Yu Liu, David F. Fouhey, Chen-Hsuan Lin

cs.AI

Abstract

L'annotazione delle pose della fotocamera su video dinamici di Internet su larga scala è fondamentale per far progredire campi come la generazione realistica di video e la simulazione. Tuttavia, raccogliere un tale dataset è difficile, poiché la maggior parte dei video di Internet non è adatta per la stima delle pose. Inoltre, annotare video dinamici di Internet presenta sfide significative anche per i metodi più avanzati. In questo articolo, presentiamo DynPose-100K, un dataset su larga scala di video dinamici di Internet annotati con le pose della fotocamera. La nostra pipeline di raccolta affronta il filtraggio utilizzando un insieme accuratamente combinato di modelli specifici per il compito e generalisti. Per la stima delle pose, combiniamo le ultime tecniche di tracciamento dei punti, mascheramento dinamico e struttura dal movimento per ottenere miglioramenti rispetto agli approcci più avanzati. Le nostre analisi ed esperimenti dimostrano che DynPose-100K è sia su larga scala che diversificato in diversi attributi chiave, aprendo nuove strade per progressi in varie applicazioni downstream.

English

Annotating camera poses on dynamic Internet videos at scale is critical for advancing fields like realistic video generation and simulation. However, collecting such a dataset is difficult, as most Internet videos are unsuitable for pose estimation. Furthermore, annotating dynamic Internet videos present significant challenges even for state-of-theart methods. In this paper, we introduce DynPose-100K, a large-scale dataset of dynamic Internet videos annotated with camera poses. Our collection pipeline addresses filtering using a carefully combined set of task-specific and generalist models. For pose estimation, we combine the latest techniques of point tracking, dynamic masking, and structure-from-motion to achieve improvements over the state-of-the-art approaches. Our analysis and experiments demonstrate that DynPose-100K is both large-scale and diverse across several key attributes, opening up avenues for advancements in various downstream applications.