Быстрое создание трехмерных моделей на основе видео с помощью обработки точечных треков.

Fast Encoder-Based 3D from Casual Videos via Point Track Processing

April 10, 2024

Авторы: Yoni Kasten, Wuyue Lu, Haggai Maron

cs.AI

Аннотация

Данный документ рассматривает давнюю проблему восстановления трехмерных структур из видео с динамическим содержанием. Существующие подходы к этой проблеме не были разработаны для работы с обычными видеозаписями, сделанными стандартными камерами, или требуют длительного времени оптимизации. С целью значительного улучшения эффективности предыдущих подходов мы представляем TracksTo4D - обучающий подход, который позволяет выводить трехмерную структуру и позиции камеры из динамического контента, полученного из обычных видеозаписей, с использованием единственного эффективного прямого прохода. Для достижения этой цели мы предлагаем работать напрямую с двумерными точечными треками в качестве входных данных и разрабатываем архитектуру, специально предназначенную для обработки двумерных точечных треков. Наша предложенная архитектура разработана с учетом двух ключевых принципов: (1) учитывать встроенные симметрии, присутствующие в данных точечных треков, и (2) предполагать, что шаблоны движения могут быть эффективно представлены с использованием низкорангового приближения. TracksTo4D обучается в ненадзорном режиме на наборе данных обычных видеозаписей, используя только двумерные точечные треки, извлеченные из видео, без какого-либо трехмерного надзора. Наши эксперименты показывают, что TracksTo4D может восстанавливать временное облако точек и позиции камеры базового видео с точностью, сравнимой с передовыми методами, с одновременным значительным снижением времени выполнения на до 95%. Мы также показываем, что TracksTo4D хорошо обобщается на невиденные видеозаписи невиденных семантических категорий на этапе вывода.

English

This paper addresses the long-standing challenge of reconstructing 3D structures from videos with dynamic content. Current approaches to this problem were not designed to operate on casual videos recorded by standard cameras or require a long optimization time. Aiming to significantly improve the efficiency of previous approaches, we present TracksTo4D, a learning-based approach that enables inferring 3D structure and camera positions from dynamic content originating from casual videos using a single efficient feed-forward pass. To achieve this, we propose operating directly over 2D point tracks as input and designing an architecture tailored for processing 2D point tracks. Our proposed architecture is designed with two key principles in mind: (1) it takes into account the inherent symmetries present in the input point tracks data, and (2) it assumes that the movement patterns can be effectively represented using a low-rank approximation. TracksTo4D is trained in an unsupervised way on a dataset of casual videos utilizing only the 2D point tracks extracted from the videos, without any 3D supervision. Our experiments show that TracksTo4D can reconstruct a temporal point cloud and camera positions of the underlying video with accuracy comparable to state-of-the-art methods, while drastically reducing runtime by up to 95\%. We further show that TracksTo4D generalizes well to unseen videos of unseen semantic categories at inference time.