Динамические положения камер и где их найти

Dynamic Camera Poses and Where to Find Them

April 24, 2025

Авторы: Chris Rockwell, Joseph Tung, Tsung-Yi Lin, Ming-Yu Liu, David F. Fouhey, Chen-Hsuan Lin

cs.AI

Аннотация

Аннотирование поз камеры в динамических интернет-видео в масштабе имеет критическое значение для развития таких областей, как реалистичная генерация видео и симуляция. Однако сбор такого набора данных является сложной задачей, поскольку большинство интернет-видео непригодны для оценки поз. Более того, аннотирование динамических интернет-видео представляет значительные трудности даже для современных методов. В данной статье мы представляем DynPose-100K — крупномасштабный набор данных динамических интернет-видео, аннотированных позами камеры. Наш процесс сбора данных включает фильтрацию с использованием тщательно подобранного набора специализированных и универсальных моделей. Для оценки поз мы объединяем последние технологии отслеживания точек, динамического маскирования и восстановления структуры по движению, что позволяет добиться улучшений по сравнению с современными подходами. Наш анализ и эксперименты демонстрируют, что DynPose-100K является как крупномасштабным, так и разнообразным по нескольким ключевым атрибутам, открывая новые возможности для прогресса в различных прикладных задачах.

English

Annotating camera poses on dynamic Internet videos at scale is critical for advancing fields like realistic video generation and simulation. However, collecting such a dataset is difficult, as most Internet videos are unsuitable for pose estimation. Furthermore, annotating dynamic Internet videos present significant challenges even for state-of-theart methods. In this paper, we introduce DynPose-100K, a large-scale dataset of dynamic Internet videos annotated with camera poses. Our collection pipeline addresses filtering using a carefully combined set of task-specific and generalist models. For pose estimation, we combine the latest techniques of point tracking, dynamic masking, and structure-from-motion to achieve improvements over the state-of-the-art approaches. Our analysis and experiments demonstrate that DynPose-100K is both large-scale and diverse across several key attributes, opening up avenues for advancements in various downstream applications.