4DSloMo: 4D-Rekonstruktion für Hochgeschwindigkeitsszenen mit asynchroner Aufnahme

4DSloMo: 4D Reconstruction for High Speed Scene with Asynchronous Capture

July 7, 2025

Autoren: Yutian Chen, Shi Guo, Tianshuo Yang, Lihe Ding, Xiuyuan Yu, Jinwei Gu, Tianfan Xue

cs.AI

Zusammenfassung

Die Rekonstruktion schnell-dynamischer Szenen aus Multi-View-Videos ist entscheidend für die Hochgeschwindigkeitsbewegungsanalyse und realistische 4D-Rekonstruktion. Die Mehrheit der 4D-Erfassungssysteme ist jedoch auf Bildraten unter 30 FPS (Bilder pro Sekunde) beschränkt, und eine direkte 4D-Rekonstruktion von Hochgeschwindigkeitsbewegungen aus niedrigen FPS-Eingaben kann zu unerwünschten Ergebnissen führen. In dieser Arbeit schlagen wir ein Hochgeschwindigkeits-4D-Erfassungssystem vor, das ausschließlich Kameras mit niedriger Bildrate verwendet, durch neuartige Erfassungs- und Verarbeitungsmodule. Auf der Erfassungsseite schlagen wir ein asynchrones Erfassungsschema vor, das die effektive Bildrate erhöht, indem die Startzeiten der Kameras versetzt werden. Durch die Gruppierung von Kameras und die Nutzung einer Basisframerate von 25 FPS erreicht unsere Methode eine äquivalente Bildrate von 100-200 FPS, ohne spezialisierte Hochgeschwindigkeitskameras zu benötigen. Auf der Verarbeitungsseite schlagen wir ebenfalls ein neuartiges generatives Modell vor, um Artefakte zu beheben, die durch die 4D-Sparse-View-Rekonstruktion verursacht werden, da die Asynchronität die Anzahl der Blickwinkel zu jedem Zeitpunkt reduziert. Insbesondere schlagen wir vor, ein videodiffusionsbasiertes Artefaktbehebungsmodell für die sparse 4D-Rekonstruktion zu trainieren, das fehlende Details verfeinert, die zeitliche Konsistenz bewahrt und die Gesamtrekonstruktionsqualität verbessert. Experimentelle Ergebnisse zeigen, dass unsere Methode die Hochgeschwindigkeits-4D-Rekonstruktion im Vergleich zur synchronen Erfassung deutlich verbessert.

English

Reconstructing fast-dynamic scenes from multi-view videos is crucial for high-speed motion analysis and realistic 4D reconstruction. However, the majority of 4D capture systems are limited to frame rates below 30 FPS (frames per second), and a direct 4D reconstruction of high-speed motion from low FPS input may lead to undesirable results. In this work, we propose a high-speed 4D capturing system only using low FPS cameras, through novel capturing and processing modules. On the capturing side, we propose an asynchronous capture scheme that increases the effective frame rate by staggering the start times of cameras. By grouping cameras and leveraging a base frame rate of 25 FPS, our method achieves an equivalent frame rate of 100-200 FPS without requiring specialized high-speed cameras. On processing side, we also propose a novel generative model to fix artifacts caused by 4D sparse-view reconstruction, as asynchrony reduces the number of viewpoints at each timestamp. Specifically, we propose to train a video-diffusion-based artifact-fix model for sparse 4D reconstruction, which refines missing details, maintains temporal consistency, and improves overall reconstruction quality. Experimental results demonstrate that our method significantly enhances high-speed 4D reconstruction compared to synchronous capture.