LongE2V: Langzeithorizont-eventbasierte Videorekonstruktion, Vorhersage und Bildinterpolation mit Videodiffusionsmodellen

Zusammenfassung

Die Gewinnung hochwertiger Videos aus spärlichen Ereignisströmen ist eine anspruchsvolle Aufgabe. Regressionsmethoden führen oft zu unscharfen Texturen, während bestehende generative Modelle Probleme mit der langfristigen Stabilität haben. Wir schlagen LongE2V vor, einen neuartigen Ansatz, der vortrainierte Videodiffusions-Priors nutzt, um gemeinsam die ereignisbasierte Videorekonstruktion, -vorhersage und Bildinterpolation zu behandeln. Durch das Feintuning eines grundlegenden Videomodells erreicht unser Ansatz eine hohe Dateneffizienz und überlegene visuelle Qualität. Wir führen Autoregressive Unrolling und Adaptive Context Switching ein, um zeitliche Drift in extrem langen Sequenzen zu mildern. Zudem schlagen wir Reencoding Alignment with Cross Residual Correction vor, um eine präzise bidirektionale Konsistenz bei der Bildinterpolation sicherzustellen. Darüber hinaus gewährleistet die Event Voxel Density Augmentation Robustheit über verschiedene Sensorauflösungen hinweg. Umfangreiche Experimente mit realen Benchmarks zeigen, dass LongE2V die aktuellsten Methoden in allen drei Aufgaben übertrifft und eine außergewöhnliche zeitliche Kohärenz sowie Zero-Shot-Generalisation aufweist. Projektseite: https://cdfan0627.github.io/LongE2V-page/

English

Recovering high-quality video from sparse event streams is a challenging task. Regression methods often blur textures, while existing generative models struggle with long-term stability. We propose LongE2V, a novel approach that leverages pre-trained video diffusion priors to jointly handle event-based video reconstruction, prediction, and frame interpolation. By fine-tuning a foundational video model, our approach achieves high data efficiency and superior perceptual quality. We introduce Autoregressive Unrolling and Adaptive Context Switching to mitigate temporal drift in extremely long sequences. We also propose Reencoding Alignment with Cross Residual Correction to ensure precise bidirectional consistency during frame interpolation. Furthermore, Event Voxel Density Augmentation ensures robustness across varying sensor resolutions. Extensive experiments on real-world benchmarks demonstrate that LongE2V outperforms state-of-the-art methods across all three tasks, exhibiting exceptional temporal coherence and zero-shot generalization. Project page: https://cdfan0627.github.io/LongE2V-page/