Snelle encoder-gebaseerde 3D-reconstructie van informele video's via puntvolgverwerking

Fast Encoder-Based 3D from Casual Videos via Point Track Processing

April 10, 2024

Auteurs: Yoni Kasten, Wuyue Lu, Haggai Maron

cs.AI

Samenvatting

Deze paper behandelt de langdurige uitdaging van het reconstrueren van 3D-structuren uit video's met dynamische inhoud. Huidige benaderingen van dit probleem waren niet ontworpen om te werken met informele video's opgenomen met standaard camera's of vereisen een lange optimalisatietijd. Met als doel de efficiëntie van eerdere benaderingen aanzienlijk te verbeteren, presenteren we TracksTo4D, een op leren gebaseerde benadering die het afleiden van 3D-structuur en cameraposities mogelijk maakt uit dynamische inhoud afkomstig van informele video's met behulp van een enkele efficiënte feedforward-pass. Om dit te bereiken, stellen we voor om rechtstreeks te werken met 2D-punttracks als invoer en een architectuur te ontwerpen die is afgestemd op het verwerken van 2D-punttracks. Onze voorgestelde architectuur is ontworpen met twee belangrijke principes in gedachten: (1) het houdt rekening met de inherente symmetrieën in de invoergegevens van de punttracks, en (2) het gaat ervan uit dat de bewegingspatronen effectief kunnen worden gerepresenteerd met een lage-rangbenadering. TracksTo4D wordt ongesuperviseerd getraind op een dataset van informele video's met behulp van alleen de 2D-punttracks die zijn geëxtraheerd uit de video's, zonder enige 3D-begeleiding. Onze experimenten tonen aan dat TracksTo4D een tijdelijke puntenwolk en cameraposities van de onderliggende video kan reconstrueren met een nauwkeurigheid die vergelijkbaar is met methoden van het hoogste niveau, terwijl de looptijd drastisch wordt verminderd met wel tot 95%. We tonen verder aan dat TracksTo4D goed generaliseert naar ongeziene video's van ongeziene semantische categorieën op het moment van inferentie.

English

This paper addresses the long-standing challenge of reconstructing 3D structures from videos with dynamic content. Current approaches to this problem were not designed to operate on casual videos recorded by standard cameras or require a long optimization time. Aiming to significantly improve the efficiency of previous approaches, we present TracksTo4D, a learning-based approach that enables inferring 3D structure and camera positions from dynamic content originating from casual videos using a single efficient feed-forward pass. To achieve this, we propose operating directly over 2D point tracks as input and designing an architecture tailored for processing 2D point tracks. Our proposed architecture is designed with two key principles in mind: (1) it takes into account the inherent symmetries present in the input point tracks data, and (2) it assumes that the movement patterns can be effectively represented using a low-rank approximation. TracksTo4D is trained in an unsupervised way on a dataset of casual videos utilizing only the 2D point tracks extracted from the videos, without any 3D supervision. Our experiments show that TracksTo4D can reconstruct a temporal point cloud and camera positions of the underlying video with accuracy comparable to state-of-the-art methods, while drastically reducing runtime by up to 95\%. We further show that TracksTo4D generalizes well to unseen videos of unseen semantic categories at inference time.