Schneller Encoder-basierter 3D-Ansatz aus informellen Videos mittels Punktverfolgungsverarbeitung

Fast Encoder-Based 3D from Casual Videos via Point Track Processing

April 10, 2024

Autoren: Yoni Kasten, Wuyue Lu, Haggai Maron

cs.AI

Zusammenfassung

Dieses Papier befasst sich mit der langjährigen Herausforderung, 3D-Strukturen aus Videos mit dynamischen Inhalten zu rekonstruieren. Aktuelle Ansätze zu diesem Problem waren nicht darauf ausgelegt, mit zufälligen Videos, die von Standardkameras aufgenommen wurden, zu arbeiten oder erfordern eine lange Optimierungszeit. Mit dem Ziel, die Effizienz früherer Ansätze signifikant zu verbessern, präsentieren wir TracksTo4D, einen lernbasierten Ansatz, der es ermöglicht, 3D-Strukturen und Kamerapositionen aus dynamischen Inhalten von zufälligen Videos mithilfe eines einzigen effizienten Feedforward-Durchlaufs zu erschließen. Um dies zu erreichen, schlagen wir vor, direkt über 2D-Punktspuren als Eingabe zu arbeiten und eine Architektur zu entwerfen, die speziell für die Verarbeitung von 2D-Punktspuren ausgelegt ist. Unsere vorgeschlagene Architektur wurde mit zwei Schlüsselprinzipien entworfen: (1) Sie berücksichtigt die inhärenten Symmetrien in den Eingabedaten der Punktspuren und (2) sie geht davon aus, dass die Bewegungsmuster effektiv durch eine niederdimensionale Approximation dargestellt werden können. TracksTo4D wird auf einem Datensatz von zufälligen Videos unüberwacht trainiert, wobei nur die aus den Videos extrahierten 2D-Punktspuren verwendet werden, ohne jegliche 3D-Überwachung. Unsere Experimente zeigen, dass TracksTo4D eine zeitliche Punktwolke und Kamerapositionen des zugrunde liegenden Videos mit einer Genauigkeit rekonstruieren kann, die mit den modernsten Methoden vergleichbar ist, während die Laufzeit um bis zu 95\% reduziert wird. Wir zeigen außerdem, dass TracksTo4D gut auf unbekannte Videos von unbekannten semantischen Kategorien zur Inferenzzeit verallgemeinert.

English

This paper addresses the long-standing challenge of reconstructing 3D structures from videos with dynamic content. Current approaches to this problem were not designed to operate on casual videos recorded by standard cameras or require a long optimization time. Aiming to significantly improve the efficiency of previous approaches, we present TracksTo4D, a learning-based approach that enables inferring 3D structure and camera positions from dynamic content originating from casual videos using a single efficient feed-forward pass. To achieve this, we propose operating directly over 2D point tracks as input and designing an architecture tailored for processing 2D point tracks. Our proposed architecture is designed with two key principles in mind: (1) it takes into account the inherent symmetries present in the input point tracks data, and (2) it assumes that the movement patterns can be effectively represented using a low-rank approximation. TracksTo4D is trained in an unsupervised way on a dataset of casual videos utilizing only the 2D point tracks extracted from the videos, without any 3D supervision. Our experiments show that TracksTo4D can reconstruct a temporal point cloud and camera positions of the underlying video with accuracy comparable to state-of-the-art methods, while drastically reducing runtime by up to 95\%. We further show that TracksTo4D generalizes well to unseen videos of unseen semantic categories at inference time.