Poses Dinâmicas de Câmera e Onde Encontrá-las

Dynamic Camera Poses and Where to Find Them

April 24, 2025

Autores: Chris Rockwell, Joseph Tung, Tsung-Yi Lin, Ming-Yu Liu, David F. Fouhey, Chen-Hsuan Lin

cs.AI

Resumo

Anotar poses de câmera em vídeos dinâmicos da Internet em escala é crucial para o avanço de áreas como geração realista de vídeos e simulação. No entanto, coletar um conjunto de dados desse tipo é desafiador, pois a maioria dos vídeos da Internet não é adequada para estimativa de pose. Além disso, anotar vídeos dinâmicos da Internet apresenta desafios significativos mesmo para os métodos mais avançados. Neste artigo, apresentamos o DynPose-100K, um conjunto de dados em larga escala de vídeos dinâmicos da Internet anotados com poses de câmera. Nossa pipeline de coleta aborda a filtragem utilizando um conjunto cuidadosamente combinado de modelos específicos para a tarefa e generalistas. Para a estimativa de pose, combinamos as técnicas mais recentes de rastreamento de pontos, mascaramento dinâmico e estrutura a partir de movimento, alcançando melhorias em relação às abordagens mais avançadas. Nossa análise e experimentos demonstram que o DynPose-100K é tanto de grande escala quanto diverso em vários atributos-chave, abrindo caminhos para avanços em diversas aplicações subsequentes.

English

Annotating camera poses on dynamic Internet videos at scale is critical for advancing fields like realistic video generation and simulation. However, collecting such a dataset is difficult, as most Internet videos are unsuitable for pose estimation. Furthermore, annotating dynamic Internet videos present significant challenges even for state-of-theart methods. In this paper, we introduce DynPose-100K, a large-scale dataset of dynamic Internet videos annotated with camera poses. Our collection pipeline addresses filtering using a carefully combined set of task-specific and generalist models. For pose estimation, we combine the latest techniques of point tracking, dynamic masking, and structure-from-motion to achieve improvements over the state-of-the-art approaches. Our analysis and experiments demonstrate that DynPose-100K is both large-scale and diverse across several key attributes, opening up avenues for advancements in various downstream applications.