4DSloMo: Ricostruzione 4D per scene ad alta velocità con acquisizione asincrona

4DSloMo: 4D Reconstruction for High Speed Scene with Asynchronous Capture

July 7, 2025

Autori: Yutian Chen, Shi Guo, Tianshuo Yang, Lihe Ding, Xiuyuan Yu, Jinwei Gu, Tianfan Xue

cs.AI

Abstract

La ricostruzione di scene a dinamica rapida da video multi-vista è cruciale per l'analisi del movimento ad alta velocità e la ricostruzione realistica 4D. Tuttavia, la maggior parte dei sistemi di acquisizione 4D è limitata a frame rate inferiori a 30 FPS (fotogrammi al secondo), e una ricostruzione 4D diretta di movimenti ad alta velocità da input a basso FPS può portare a risultati indesiderati. In questo lavoro, proponiamo un sistema di acquisizione 4D ad alta velocità che utilizza solo telecamere a basso FPS, attraverso moduli innovativi di acquisizione e elaborazione. Sul lato dell'acquisizione, proponiamo uno schema di acquisizione asincrona che aumenta il frame rate effettivo sfalsando i tempi di inizio delle telecamere. Raggruppando le telecamere e sfruttando un frame rate base di 25 FPS, il nostro metodo raggiunge un frame rate equivalente di 100-200 FPS senza richiedere telecamere specializzate ad alta velocità. Sul lato dell'elaborazione, proponiamo anche un nuovo modello generativo per correggere gli artefatti causati dalla ricostruzione 4D a vista sparsa, poiché l'asincronia riduce il numero di punti di vista in ciascun istante temporale. Nello specifico, proponiamo di addestrare un modello basato su video-diffusion per la correzione degli artefatti nella ricostruzione 4D sparsa, che affina i dettagli mancanti, mantiene la coerenza temporale e migliora la qualità complessiva della ricostruzione. I risultati sperimentali dimostrano che il nostro metodo migliora significativamente la ricostruzione 4D ad alta velocità rispetto all'acquisizione sincrona.

English

Reconstructing fast-dynamic scenes from multi-view videos is crucial for high-speed motion analysis and realistic 4D reconstruction. However, the majority of 4D capture systems are limited to frame rates below 30 FPS (frames per second), and a direct 4D reconstruction of high-speed motion from low FPS input may lead to undesirable results. In this work, we propose a high-speed 4D capturing system only using low FPS cameras, through novel capturing and processing modules. On the capturing side, we propose an asynchronous capture scheme that increases the effective frame rate by staggering the start times of cameras. By grouping cameras and leveraging a base frame rate of 25 FPS, our method achieves an equivalent frame rate of 100-200 FPS without requiring specialized high-speed cameras. On processing side, we also propose a novel generative model to fix artifacts caused by 4D sparse-view reconstruction, as asynchrony reduces the number of viewpoints at each timestamp. Specifically, we propose to train a video-diffusion-based artifact-fix model for sparse 4D reconstruction, which refines missing details, maintains temporal consistency, and improves overall reconstruction quality. Experimental results demonstrate that our method significantly enhances high-speed 4D reconstruction compared to synchronous capture.