Encodage rapide en 3D à partir de vidéos informelles via le traitement des pistes de points

Fast Encoder-Based 3D from Casual Videos via Point Track Processing

April 10, 2024

Auteurs: Yoni Kasten, Wuyue Lu, Haggai Maron

cs.AI

Résumé

Cet article aborde le défi de longue date de la reconstruction de structures 3D à partir de vidéos avec un contenu dynamique. Les approches actuelles de ce problème n'ont pas été conçues pour fonctionner sur des vidéos ordinaires enregistrées par des caméras standard ou nécessitent un long temps d'optimisation. Dans le but d'améliorer significativement l'efficacité des approches précédentes, nous présentons TracksTo4D, une approche basée sur l'apprentissage qui permet d'inférer la structure 3D et les positions des caméras à partir de contenus dynamiques provenant de vidéos ordinaires en utilisant une seule passe feed-forward efficace. Pour y parvenir, nous proposons de travailler directement sur des pistes de points 2D en entrée et de concevoir une architecture adaptée au traitement des pistes de points 2D. Notre architecture proposée est conçue en tenant compte de deux principes clés : (1) elle prend en compte les symétries inhérentes présentes dans les données des pistes de points en entrée, et (2) elle suppose que les motifs de mouvement peuvent être efficacement représentés en utilisant une approximation de bas rang. TracksTo4D est entraîné de manière non supervisée sur un ensemble de données de vidéos ordinaires en utilisant uniquement les pistes de points 2D extraites des vidéos, sans aucune supervision 3D. Nos expériences montrent que TracksTo4D peut reconstruire un nuage de points temporels et les positions des caméras de la vidéo sous-jacente avec une précision comparable aux méthodes de pointe, tout en réduisant considérablement le temps d'exécution jusqu'à 95%. Nous montrons en outre que TracksTo4D généralise bien à des vidéos inconnues de catégories sémantiques inconnues au moment de l'inférence.

English

This paper addresses the long-standing challenge of reconstructing 3D structures from videos with dynamic content. Current approaches to this problem were not designed to operate on casual videos recorded by standard cameras or require a long optimization time. Aiming to significantly improve the efficiency of previous approaches, we present TracksTo4D, a learning-based approach that enables inferring 3D structure and camera positions from dynamic content originating from casual videos using a single efficient feed-forward pass. To achieve this, we propose operating directly over 2D point tracks as input and designing an architecture tailored for processing 2D point tracks. Our proposed architecture is designed with two key principles in mind: (1) it takes into account the inherent symmetries present in the input point tracks data, and (2) it assumes that the movement patterns can be effectively represented using a low-rank approximation. TracksTo4D is trained in an unsupervised way on a dataset of casual videos utilizing only the 2D point tracks extracted from the videos, without any 3D supervision. Our experiments show that TracksTo4D can reconstruct a temporal point cloud and camera positions of the underlying video with accuracy comparable to state-of-the-art methods, while drastically reducing runtime by up to 95\%. We further show that TracksTo4D generalizes well to unseen videos of unseen semantic categories at inference time.