4DSloMo: Reconstrução 4D para Cenas de Alta Velocidade com Captura Assíncrona

4DSloMo: 4D Reconstruction for High Speed Scene with Asynchronous Capture

July 7, 2025

Autores: Yutian Chen, Shi Guo, Tianshuo Yang, Lihe Ding, Xiuyuan Yu, Jinwei Gu, Tianfan Xue

cs.AI

Resumo

Reconstruir cenas de movimento rápido a partir de vídeos multiview é crucial para a análise de movimentos em alta velocidade e a reconstrução realista em 4D. No entanto, a maioria dos sistemas de captura 4D está limitada a taxas de quadros abaixo de 30 FPS (quadros por segundo), e uma reconstrução 4D direta de movimentos em alta velocidade a partir de entradas de baixa taxa de quadros pode resultar em efeitos indesejáveis. Neste trabalho, propomos um sistema de captura 4D em alta velocidade utilizando apenas câmeras de baixa taxa de quadros, por meio de módulos inovadores de captura e processamento. No lado da captura, propomos um esquema de captura assíncrona que aumenta a taxa de quadros efetiva ao escalonar os tempos de início das câmeras. Ao agrupar câmeras e aproveitar uma taxa de quadros base de 25 FPS, nosso método alcança uma taxa de quadros equivalente de 100-200 FPS sem a necessidade de câmeras especializadas de alta velocidade. No lado do processamento, também propomos um novo modelo generativo para corrigir artefatos causados pela reconstrução 4D de visão esparsa, já que a assincronia reduz o número de pontos de vista em cada instante de tempo. Especificamente, propomos treinar um modelo de correção de artefatos baseado em difusão de vídeo para reconstrução 4D esparsa, que refina detalhes ausentes, mantém a consistência temporal e melhora a qualidade geral da reconstrução. Resultados experimentais demonstram que nosso método aprimora significativamente a reconstrução 4D em alta velocidade em comparação com a captura síncrona.

English

Reconstructing fast-dynamic scenes from multi-view videos is crucial for high-speed motion analysis and realistic 4D reconstruction. However, the majority of 4D capture systems are limited to frame rates below 30 FPS (frames per second), and a direct 4D reconstruction of high-speed motion from low FPS input may lead to undesirable results. In this work, we propose a high-speed 4D capturing system only using low FPS cameras, through novel capturing and processing modules. On the capturing side, we propose an asynchronous capture scheme that increases the effective frame rate by staggering the start times of cameras. By grouping cameras and leveraging a base frame rate of 25 FPS, our method achieves an equivalent frame rate of 100-200 FPS without requiring specialized high-speed cameras. On processing side, we also propose a novel generative model to fix artifacts caused by 4D sparse-view reconstruction, as asynchrony reduces the number of viewpoints at each timestamp. Specifically, we propose to train a video-diffusion-based artifact-fix model for sparse 4D reconstruction, which refines missing details, maintains temporal consistency, and improves overall reconstruction quality. Experimental results demonstrate that our method significantly enhances high-speed 4D reconstruction compared to synchronous capture.