Großbewegungsvideo-Autoencoding mit Cross-modal Video VAE

Large Motion Video Autoencoding with Cross-modal Video VAE

December 23, 2024

Autoren: Yazhou Xing, Yang Fei, Yingqing He, Jingye Chen, Jiaxin Xie, Xiaowei Chi, Qifeng Chen

cs.AI

Zusammenfassung

Das Erlernen eines robusten Video-Variationalen Autoencoders (VAE) ist entscheidend, um die Videoüberflüssigkeit zu reduzieren und die effiziente Videogenerierung zu erleichtern. Die direkte Anwendung von Bild-VAEs auf einzelne Frames isoliert voneinander kann zu zeitlichen Inkonsistenzen und suboptimalen Kompressionsraten führen, aufgrund eines Mangels an zeitlicher Kompression. Bestehende Video-VAEs haben begonnen, sich mit zeitlicher Kompression auseinanderzusetzen; jedoch leiden sie oft unter unzureichender Rekonstruktionsleistung. In diesem Paper präsentieren wir einen neuartigen und leistungsstarken Video-Autoencoder, der in der Lage ist, Videos mit hoher Qualität zu codieren. Zunächst beobachten wir, dass das Verflechten von räumlicher und zeitlicher Kompression durch eine einfache Erweiterung des Bild-VAEs zu einem 3D-VAE zu Bewegungsunschärfe und Detailverzerrungsartefakten führen kann. Daher schlagen wir eine zeitbewusste räumliche Kompression vor, um die räumlichen Informationen besser zu codieren und zu decodieren. Darüber hinaus integrieren wir ein leichtgewichtiges Bewegungskompressionsmodell für eine weitere zeitliche Kompression. Zweitens schlagen wir vor, die im Text-zu-Video-Datensätzen inhärente textuelle Information zu nutzen und Textanleitungen in unser Modell zu integrieren. Dies verbessert signifikant die Rekonstruktionsqualität, insbesondere hinsichtlich der Detailerhaltung und zeitlichen Stabilität. Drittens verbessern wir die Vielseitigkeit unseres Modells weiter durch gemeinsames Training sowohl auf Bildern als auch auf Videos, was nicht nur die Rekonstruktionsqualität verbessert, sondern dem Modell auch ermöglicht, sowohl Bild- als auch Video-Codierung durchzuführen. Umfangreiche Evaluationen gegenüber starken aktuellen Baselines zeigen die überlegene Leistung unserer Methode. Die Projektwebsite ist unter https://yzxing87.github.io/vae/ zu finden.

English

Learning a robust video Variational Autoencoder (VAE) is essential for reducing video redundancy and facilitating efficient video generation. Directly applying image VAEs to individual frames in isolation can result in temporal inconsistencies and suboptimal compression rates due to a lack of temporal compression. Existing Video VAEs have begun to address temporal compression; however, they often suffer from inadequate reconstruction performance. In this paper, we present a novel and powerful video autoencoder capable of high-fidelity video encoding. First, we observe that entangling spatial and temporal compression by merely extending the image VAE to a 3D VAE can introduce motion blur and detail distortion artifacts. Thus, we propose temporal-aware spatial compression to better encode and decode the spatial information. Additionally, we integrate a lightweight motion compression model for further temporal compression. Second, we propose to leverage the textual information inherent in text-to-video datasets and incorporate text guidance into our model. This significantly enhances reconstruction quality, particularly in terms of detail preservation and temporal stability. Third, we further improve the versatility of our model through joint training on both images and videos, which not only enhances reconstruction quality but also enables the model to perform both image and video autoencoding. Extensive evaluations against strong recent baselines demonstrate the superior performance of our method. The project website can be found at~https://yzxing87.github.io/vae/{https://yzxing87.github.io/vae/}.