4DSloMo: 非同期撮影による高速シーンの4次元再構成

4DSloMo: 4D Reconstruction for High Speed Scene with Asynchronous Capture

July 7, 2025

著者: Yutian Chen, Shi Guo, Tianshuo Yang, Lihe Ding, Xiuyuan Yu, Jinwei Gu, Tianfan Xue

cs.AI

要旨

高速動的シーンをマルチビュービデオから再構築することは、高速動作分析とリアルな4D再構築において極めて重要です。しかし、ほとんどの4Dキャプチャシステムは30FPS（フレーム毎秒）以下のフレームレートに制限されており、低FPS入力からの直接的な高速動作の4D再構築は望ましくない結果を招く可能性があります。本研究では、低FPSカメラのみを使用した高速4Dキャプチャシステムを、新たなキャプチャおよび処理モジュールを通じて提案します。キャプチャ側では、カメラの開始時間をずらすことで実効フレームレートを向上させる非同期キャプチャ方式を提案します。カメラをグループ化し、25FPSのベースフレームレートを活用することで、特殊な高速カメラを必要とせずに100-200FPSに相当するフレームレートを実現します。処理側では、非同期化によって各タイムスタンプでの視点数が減少することによる4Dスパースビュー再構築のアーティファクトを修正するための新たな生成モデルも提案します。具体的には、スパース4D再構築のためのビデオ拡散ベースのアーティファクト修正モデルを訓練し、欠落した詳細を補完し、時間的一貫性を維持し、全体的な再構築品質を向上させます。実験結果は、同期キャプチャと比較して、本手法が高速4D再構築を大幅に向上させることを示しています。

English

Reconstructing fast-dynamic scenes from multi-view videos is crucial for high-speed motion analysis and realistic 4D reconstruction. However, the majority of 4D capture systems are limited to frame rates below 30 FPS (frames per second), and a direct 4D reconstruction of high-speed motion from low FPS input may lead to undesirable results. In this work, we propose a high-speed 4D capturing system only using low FPS cameras, through novel capturing and processing modules. On the capturing side, we propose an asynchronous capture scheme that increases the effective frame rate by staggering the start times of cameras. By grouping cameras and leveraging a base frame rate of 25 FPS, our method achieves an equivalent frame rate of 100-200 FPS without requiring specialized high-speed cameras. On processing side, we also propose a novel generative model to fix artifacts caused by 4D sparse-view reconstruction, as asynchrony reduces the number of viewpoints at each timestamp. Specifically, we propose to train a video-diffusion-based artifact-fix model for sparse 4D reconstruction, which refines missing details, maintains temporal consistency, and improves overall reconstruction quality. Experimental results demonstrate that our method significantly enhances high-speed 4D reconstruction compared to synchronous capture.