4DSloMo : Reconstruction 4D pour des scènes à haute vitesse avec capture asynchrone

4DSloMo: 4D Reconstruction for High Speed Scene with Asynchronous Capture

July 7, 2025

Auteurs: Yutian Chen, Shi Guo, Tianshuo Yang, Lihe Ding, Xiuyuan Yu, Jinwei Gu, Tianfan Xue

cs.AI

Résumé

La reconstruction de scènes à dynamique rapide à partir de vidéos multi-vues est cruciale pour l'analyse de mouvements à haute vitesse et la reconstruction réaliste en 4D. Cependant, la majorité des systèmes de capture 4D sont limités à des fréquences d'images inférieures à 30 FPS (images par seconde), et une reconstruction 4D directe de mouvements à haute vitesse à partir d'une entrée à faible FPS peut conduire à des résultats indésirables. Dans ce travail, nous proposons un système de capture 4D à haute vitesse utilisant uniquement des caméras à faible FPS, grâce à des modules innovants de capture et de traitement. Du côté de la capture, nous proposons un schéma de capture asynchrone qui augmente la fréquence d'images effective en décalant les temps de démarrage des caméras. En regroupant les caméras et en exploitant une fréquence d'images de base de 25 FPS, notre méthode atteint une fréquence d'images équivalente de 100 à 200 FPS sans nécessiter de caméras spécialisées à haute vitesse. Du côté du traitement, nous proposons également un nouveau modèle génératif pour corriger les artefacts causés par la reconstruction 4D à vues éparses, car l'asynchronie réduit le nombre de points de vue à chaque instant. Plus précisément, nous proposons d'entraîner un modèle de correction d'artefacts basé sur la diffusion vidéo pour la reconstruction 4D éparse, qui affine les détails manquants, maintient la cohérence temporelle et améliore la qualité globale de la reconstruction. Les résultats expérimentaux démontrent que notre méthode améliore significativement la reconstruction 4D à haute vitesse par rapport à la capture synchrone.

English

Reconstructing fast-dynamic scenes from multi-view videos is crucial for high-speed motion analysis and realistic 4D reconstruction. However, the majority of 4D capture systems are limited to frame rates below 30 FPS (frames per second), and a direct 4D reconstruction of high-speed motion from low FPS input may lead to undesirable results. In this work, we propose a high-speed 4D capturing system only using low FPS cameras, through novel capturing and processing modules. On the capturing side, we propose an asynchronous capture scheme that increases the effective frame rate by staggering the start times of cameras. By grouping cameras and leveraging a base frame rate of 25 FPS, our method achieves an equivalent frame rate of 100-200 FPS without requiring specialized high-speed cameras. On processing side, we also propose a novel generative model to fix artifacts caused by 4D sparse-view reconstruction, as asynchrony reduces the number of viewpoints at each timestamp. Specifically, we propose to train a video-diffusion-based artifact-fix model for sparse 4D reconstruction, which refines missing details, maintains temporal consistency, and improves overall reconstruction quality. Experimental results demonstrate that our method significantly enhances high-speed 4D reconstruction compared to synchronous capture.