4DSloMo: 4D-reconstructie voor hoogfrequente scènes met asynchrone opname

4DSloMo: 4D Reconstruction for High Speed Scene with Asynchronous Capture

July 7, 2025

Auteurs: Yutian Chen, Shi Guo, Tianshuo Yang, Lihe Ding, Xiuyuan Yu, Jinwei Gu, Tianfan Xue

cs.AI

Samenvatting

Het reconstrueren van snel-dynamische scènes uit multi-view video's is cruciaal voor de analyse van snelle bewegingen en realistische 4D-reconstructie. De meeste 4D-capturesystemen zijn echter beperkt tot framerates onder de 30 FPS (frames per seconde), en een directe 4D-reconstructie van snelle bewegingen uit laag-FPS-input kan leiden tot ongewenste resultaten. In dit werk stellen we een hoog-snelheid 4D-capturesysteem voor dat alleen gebruikmaakt van laag-FPS-camera's, door middel van innovatieve opname- en verwerkingsmodules. Aan de opnamekant introduceren we een asynchroon opnameschema dat de effectieve framerate verhoogt door de starttijden van de camera's te verspreiden. Door camera's te groeperen en gebruik te maken van een basis-framerate van 25 FPS, bereikt onze methode een equivalente framerate van 100-200 FPS zonder gespecialiseerde hoog-snelheidscamera's te vereisen. Aan de verwerkingskant stellen we ook een nieuw generatief model voor om artefacten te herstellen die worden veroorzaakt door 4D sparse-view-reconstructie, aangezien asynchroniteit het aantal gezichtspunten op elk tijdstip vermindert. Specifiek stellen we voor om een video-diffusiegebaseerd artefact-herstelmodel te trainen voor sparse 4D-reconstructie, dat ontbrekende details verfijnt, temporele consistentie behoudt en de algehele reconstructiekwaliteit verbetert. Experimentele resultaten tonen aan dat onze methode de hoog-snelheid 4D-reconstructie aanzienlijk verbetert in vergelijking met synchrone opname.

English

Reconstructing fast-dynamic scenes from multi-view videos is crucial for high-speed motion analysis and realistic 4D reconstruction. However, the majority of 4D capture systems are limited to frame rates below 30 FPS (frames per second), and a direct 4D reconstruction of high-speed motion from low FPS input may lead to undesirable results. In this work, we propose a high-speed 4D capturing system only using low FPS cameras, through novel capturing and processing modules. On the capturing side, we propose an asynchronous capture scheme that increases the effective frame rate by staggering the start times of cameras. By grouping cameras and leveraging a base frame rate of 25 FPS, our method achieves an equivalent frame rate of 100-200 FPS without requiring specialized high-speed cameras. On processing side, we also propose a novel generative model to fix artifacts caused by 4D sparse-view reconstruction, as asynchrony reduces the number of viewpoints at each timestamp. Specifically, we propose to train a video-diffusion-based artifact-fix model for sparse 4D reconstruction, which refines missing details, maintains temporal consistency, and improves overall reconstruction quality. Experimental results demonstrate that our method significantly enhances high-speed 4D reconstruction compared to synchronous capture.