4DSloMo: 비동기 캡처를 통한 고속 장면의 4D 재구성

4DSloMo: 4D Reconstruction for High Speed Scene with Asynchronous Capture

July 7, 2025

저자: Yutian Chen, Shi Guo, Tianshuo Yang, Lihe Ding, Xiuyuan Yu, Jinwei Gu, Tianfan Xue

cs.AI

초록

고속 동적 장면을 다중 시점 비디오로부터 재구성하는 것은 고속 동작 분석과 사실적인 4D 재구성에 있어 매우 중요합니다. 그러나 대부분의 4D 캡처 시스템은 초당 30프레임(FPS) 이하로 제한되어 있으며, 저프레임률 입력으로부터 고속 동작을 직접 4D 재구성하는 것은 바람직하지 않은 결과를 초래할 수 있습니다. 본 연구에서는 저프레임률 카메라만을 사용하여 고속 4D 캡처 시스템을 제안하며, 이를 위해 새로운 캡처 및 처리 모듈을 도입합니다. 캡처 측면에서는 카메라의 시작 시간을 엇갈리게 하여 유효 프레임률을 증가시키는 비동기식 캡처 방식을 제안합니다. 카메라를 그룹화하고 기본 프레임률 25 FPS를 활용함으로써, 특수한 고속 카메라 없이도 100-200 FPS에 해당하는 프레임률을 달성합니다. 처리 측면에서는 비동기화로 인해 각 타임스탬프에서의 시점 수가 감소함에 따라 발생하는 4D 희소 시점 재구성의 아티팩트를 수정하기 위한 새로운 생성 모델을 제안합니다. 구체적으로, 희소 4D 재구성을 위한 비디오-확산 기반 아티팩트 수정 모델을 학습하여 누락된 세부 사항을 보완하고, 시간적 일관성을 유지하며, 전반적인 재구성 품질을 향상시킵니다. 실험 결과는 제안된 방법이 동기식 캡처에 비해 고속 4D 재구성을 크게 개선함을 보여줍니다.

English

Reconstructing fast-dynamic scenes from multi-view videos is crucial for high-speed motion analysis and realistic 4D reconstruction. However, the majority of 4D capture systems are limited to frame rates below 30 FPS (frames per second), and a direct 4D reconstruction of high-speed motion from low FPS input may lead to undesirable results. In this work, we propose a high-speed 4D capturing system only using low FPS cameras, through novel capturing and processing modules. On the capturing side, we propose an asynchronous capture scheme that increases the effective frame rate by staggering the start times of cameras. By grouping cameras and leveraging a base frame rate of 25 FPS, our method achieves an equivalent frame rate of 100-200 FPS without requiring specialized high-speed cameras. On processing side, we also propose a novel generative model to fix artifacts caused by 4D sparse-view reconstruction, as asynchrony reduces the number of viewpoints at each timestamp. Specifically, we propose to train a video-diffusion-based artifact-fix model for sparse 4D reconstruction, which refines missing details, maintains temporal consistency, and improves overall reconstruction quality. Experimental results demonstrate that our method significantly enhances high-speed 4D reconstruction compared to synchronous capture.