4DSloMo: Reconstrucción 4D para escenas de alta velocidad con captura asíncrona

4DSloMo: 4D Reconstruction for High Speed Scene with Asynchronous Capture

July 7, 2025

Autores: Yutian Chen, Shi Guo, Tianshuo Yang, Lihe Ding, Xiuyuan Yu, Jinwei Gu, Tianfan Xue

cs.AI

Resumen

La reconstrucción de escenas de movimiento rápido a partir de vídeos multicámara es crucial para el análisis de movimientos de alta velocidad y la reconstrucción realista en 4D. Sin embargo, la mayoría de los sistemas de captura 4D están limitados a tasas de fotogramas inferiores a 30 FPS (fotogramas por segundo), y una reconstrucción 4D directa de movimientos de alta velocidad a partir de entradas de baja FPS puede generar resultados no deseados. En este trabajo, proponemos un sistema de captura 4D de alta velocidad que utiliza únicamente cámaras de baja FPS, mediante módulos novedosos de captura y procesamiento. En el lado de la captura, proponemos un esquema de captura asíncrona que aumenta la tasa de fotogramas efectiva al escalonar los tiempos de inicio de las cámaras. Al agrupar cámaras y aprovechar una tasa de fotogramas base de 25 FPS, nuestro método alcanza una tasa de fotogramas equivalente de 100-200 FPS sin necesidad de cámaras especializadas de alta velocidad. En el lado del procesamiento, también proponemos un modelo generativo novedoso para corregir artefactos causados por la reconstrucción 4D de vistas escasas, ya que la asincronía reduce el número de puntos de vista en cada instante de tiempo. Específicamente, proponemos entrenar un modelo de corrección de artefactos basado en difusión de vídeo para la reconstrucción 4D de vistas escasas, que refina los detalles faltantes, mantiene la consistencia temporal y mejora la calidad general de la reconstrucción. Los resultados experimentales demuestran que nuestro método mejora significativamente la reconstrucción 4D de alta velocidad en comparación con la captura síncrona.

English

Reconstructing fast-dynamic scenes from multi-view videos is crucial for high-speed motion analysis and realistic 4D reconstruction. However, the majority of 4D capture systems are limited to frame rates below 30 FPS (frames per second), and a direct 4D reconstruction of high-speed motion from low FPS input may lead to undesirable results. In this work, we propose a high-speed 4D capturing system only using low FPS cameras, through novel capturing and processing modules. On the capturing side, we propose an asynchronous capture scheme that increases the effective frame rate by staggering the start times of cameras. By grouping cameras and leveraging a base frame rate of 25 FPS, our method achieves an equivalent frame rate of 100-200 FPS without requiring specialized high-speed cameras. On processing side, we also propose a novel generative model to fix artifacts caused by 4D sparse-view reconstruction, as asynchrony reduces the number of viewpoints at each timestamp. Specifically, we propose to train a video-diffusion-based artifact-fix model for sparse 4D reconstruction, which refines missing details, maintains temporal consistency, and improves overall reconstruction quality. Experimental results demonstrate that our method significantly enhances high-speed 4D reconstruction compared to synchronous capture.