4DSloMo: 4D-реконструкция высокоскоростных сцен с асинхронной съемкой
4DSloMo: 4D Reconstruction for High Speed Scene with Asynchronous Capture
July 7, 2025
Авторы: Yutian Chen, Shi Guo, Tianshuo Yang, Lihe Ding, Xiuyuan Yu, Jinwei Gu, Tianfan Xue
cs.AI
Аннотация
Реконструкция быстроизменяющихся сцен из многовидеоизображений имеет ключевое значение для анализа высокоскоростных движений и реалистичного 4D-восстановления. Однако большинство систем 4D-захвата ограничены частотой кадров ниже 30 FPS (кадров в секунду), и прямое 4D-восстановление высокоскоростных движений из низкочастотных входных данных может привести к нежелательным результатам. В данной работе мы предлагаем систему высокоскоростного 4D-захвата, использующую только камеры с низкой частотой кадров, благодаря новым модулям захвата и обработки. Со стороны захвата мы предлагаем асинхронную схему, которая увеличивает эффективную частоту кадров за счет смещения времени начала работы камер. Группируя камеры и используя базовую частоту кадров 25 FPS, наш метод достигает эквивалентной частоты 100–200 FPS без необходимости использования специализированных высокоскоростных камер. Со стороны обработки мы также предлагаем новую генеративную модель для устранения артефактов, вызванных 4D-реконструкцией с разреженными видами, поскольку асинхронность уменьшает количество точек зрения на каждом временном шаге. В частности, мы предлагаем обучить модель исправления артефактов на основе видео-диффузии для разреженной 4D-реконструкции, которая уточняет недостающие детали, сохраняет временную согласованность и улучшает общее качество восстановления. Экспериментальные результаты демонстрируют, что наш метод значительно улучшает высокоскоростное 4D-восстановление по сравнению с синхронным захватом.
English
Reconstructing fast-dynamic scenes from multi-view videos is crucial for
high-speed motion analysis and realistic 4D reconstruction. However, the
majority of 4D capture systems are limited to frame rates below 30 FPS (frames
per second), and a direct 4D reconstruction of high-speed motion from low FPS
input may lead to undesirable results. In this work, we propose a high-speed 4D
capturing system only using low FPS cameras, through novel capturing and
processing modules. On the capturing side, we propose an asynchronous capture
scheme that increases the effective frame rate by staggering the start times of
cameras. By grouping cameras and leveraging a base frame rate of 25 FPS, our
method achieves an equivalent frame rate of 100-200 FPS without requiring
specialized high-speed cameras. On processing side, we also propose a novel
generative model to fix artifacts caused by 4D sparse-view reconstruction, as
asynchrony reduces the number of viewpoints at each timestamp. Specifically, we
propose to train a video-diffusion-based artifact-fix model for sparse 4D
reconstruction, which refines missing details, maintains temporal consistency,
and improves overall reconstruction quality. Experimental results demonstrate
that our method significantly enhances high-speed 4D reconstruction compared to
synchronous capture.