Codificador Rápido Baseado em 3D a partir de Vídeos Casuais via Processamento de Pontos de Rastreamento.

Fast Encoder-Based 3D from Casual Videos via Point Track Processing

April 10, 2024

Autores: Yoni Kasten, Wuyue Lu, Haggai Maron

cs.AI

Resumo

Este artigo aborda o desafio de longa data da reconstrução de estruturas 3D a partir de vídeos com conteúdo dinâmico. As abordagens atuais para esse problema não foram projetadas para operar em vídeos casuais gravados por câmeras padrão ou exigem um longo tempo de otimização. Com o objetivo de melhorar significativamente a eficiência das abordagens anteriores, apresentamos TracksTo4D, uma abordagem baseada em aprendizado que permite inferir a estrutura 3D e as posições das câmeras a partir de conteúdo dinâmico originado de vídeos casuais usando uma única passagem eficiente direta. Para alcançar isso, propomos operar diretamente sobre trilhas de pontos 2D como entrada e projetar uma arquitetura adaptada para processar trilhas de pontos 2D. Nossa arquitetura proposta é projetada com dois princípios-chave em mente: (1) leva em consideração as simetrias inerentes presentes nos dados das trilhas de pontos de entrada e (2) assume que os padrões de movimento podem ser efetivamente representados usando uma aproximação de baixa patente. O TracksTo4D é treinado de forma não supervisionada em um conjunto de dados de vídeos casuais utilizando apenas as trilhas de pontos 2D extraídas dos vídeos, sem nenhuma supervisão 3D. Nossos experimentos mostram que o TracksTo4D pode reconstruir nuvens de pontos temporais e posições de câmera do vídeo subjacente com precisão comparável aos métodos de ponta, enquanto reduz drasticamente o tempo de execução em até 95%. Mostramos ainda que o TracksTo4D generaliza bem para vídeos não vistos de categorias semânticas não vistas no momento da inferência.

English

This paper addresses the long-standing challenge of reconstructing 3D structures from videos with dynamic content. Current approaches to this problem were not designed to operate on casual videos recorded by standard cameras or require a long optimization time. Aiming to significantly improve the efficiency of previous approaches, we present TracksTo4D, a learning-based approach that enables inferring 3D structure and camera positions from dynamic content originating from casual videos using a single efficient feed-forward pass. To achieve this, we propose operating directly over 2D point tracks as input and designing an architecture tailored for processing 2D point tracks. Our proposed architecture is designed with two key principles in mind: (1) it takes into account the inherent symmetries present in the input point tracks data, and (2) it assumes that the movement patterns can be effectively represented using a low-rank approximation. TracksTo4D is trained in an unsupervised way on a dataset of casual videos utilizing only the 2D point tracks extracted from the videos, without any 3D supervision. Our experiments show that TracksTo4D can reconstruct a temporal point cloud and camera positions of the underlying video with accuracy comparable to state-of-the-art methods, while drastically reducing runtime by up to 95\%. We further show that TracksTo4D generalizes well to unseen videos of unseen semantic categories at inference time.