カジュアルビデオからの高速エンコーダベース3D：ポイントトラック処理を介した

Fast Encoder-Based 3D from Casual Videos via Point Track Processing

April 10, 2024

著者: Yoni Kasten, Wuyue Lu, Haggai Maron

cs.AI

要旨

本論文は、動的コンテンツを含むビデオから3D構造を再構築するという長年の課題に取り組んでいます。この問題への現在のアプローチは、標準カメラで記録されたカジュアルなビデオで動作するように設計されておらず、最適化に長い時間がかかります。 以前のアプローチの効率を大幅に向上させることを目指して、私たちはTracksTo4Dを提案します。これは、単一の効率的なフィードフォワードパスを使用して、カジュアルなビデオからの動的コンテンツから3D構造とカメラ位置を推論する学習ベースのアプローチです。これを実現するために、入力として2Dポイントトラック上で直接操作し、2Dポイントトラックを処理するために設計されたアーキテクチャを提案します。提案されたアーキテクチャは、次の2つの主要な原則を考慮して設計されています：（1）入力ポイントトラックデータに存在する固有の対称性を考慮し、（2）移動パターンが低ランク近似を使用して効果的に表現できると仮定します。TracksTo4Dは、ビデオから抽出された2Dポイントトラックのみを使用してカジュアルなビデオのデータセットで教師なしでトレーニングされており、3Dの監督を必要としません。実験では、TracksTo4Dが、最新の手法と同等の精度で基礎ビデオの時間的なポイントクラウドとカメラ位置を再構築できること、さらにランタイムを最大95％削減できることが示されています。また、TracksTo4Dが推論時に未知の意味カテゴリの未知のビデオにもうまく汎化されることも示しています。

English

This paper addresses the long-standing challenge of reconstructing 3D structures from videos with dynamic content. Current approaches to this problem were not designed to operate on casual videos recorded by standard cameras or require a long optimization time. Aiming to significantly improve the efficiency of previous approaches, we present TracksTo4D, a learning-based approach that enables inferring 3D structure and camera positions from dynamic content originating from casual videos using a single efficient feed-forward pass. To achieve this, we propose operating directly over 2D point tracks as input and designing an architecture tailored for processing 2D point tracks. Our proposed architecture is designed with two key principles in mind: (1) it takes into account the inherent symmetries present in the input point tracks data, and (2) it assumes that the movement patterns can be effectively represented using a low-rank approximation. TracksTo4D is trained in an unsupervised way on a dataset of casual videos utilizing only the 2D point tracks extracted from the videos, without any 3D supervision. Our experiments show that TracksTo4D can reconstruct a temporal point cloud and camera positions of the underlying video with accuracy comparable to state-of-the-art methods, while drastically reducing runtime by up to 95\%. We further show that TracksTo4D generalizes well to unseen videos of unseen semantic categories at inference time.