Encodage automatique de vidéos à grands mouvements avec VAE vidéo multimodal croisé

Large Motion Video Autoencoding with Cross-modal Video VAE

December 23, 2024

Auteurs: Yazhou Xing, Yang Fei, Yingqing He, Jingye Chen, Jiaxin Xie, Xiaowei Chi, Qifeng Chen

cs.AI

Résumé

Apprendre à concevoir un Variational Autoencoder (VAE) vidéo robuste est essentiel pour réduire la redondance vidéo et faciliter une génération vidéo efficace. Appliquer directement des VAE d'images aux images individuelles de manière isolée peut entraîner des incohérences temporelles et des taux de compression sous-optimaux en raison d'un manque de compression temporelle. Les VAE vidéo existants ont commencé à aborder la compression temporelle ; cependant, ils souffrent souvent de performances de reconstruction inadéquates. Dans cet article, nous présentons un autoencodeur vidéo novateur et puissant capable d'encoder des vidéos haute fidélité. Tout d'abord, nous observons qu'entrelacer la compression spatiale et temporelle en étendant simplement le VAE d'images à un VAE 3D peut introduire des artefacts de flou de mouvement et de distorsion des détails. Ainsi, nous proposons une compression spatiale consciente du temporel pour mieux encoder et décoder l'information spatiale. De plus, nous intégrons un modèle de compression de mouvement léger pour une compression temporelle supplémentaire. Deuxièmement, nous proposons de tirer parti de l'information textuelle inhérente aux ensembles de données texte-vidéo et d'incorporer un guidage textuel dans notre modèle. Cela améliore significativement la qualité de la reconstruction, notamment en termes de préservation des détails et de stabilité temporelle. Troisièmement, nous améliorons davantage la polyvalence de notre modèle grâce à un entraînement conjoint sur les images et les vidéos, ce qui non seulement améliore la qualité de la reconstruction mais permet également au modèle d'effectuer à la fois l'autoencodage d'images et de vidéos. Des évaluations approfondies par rapport à des références récentes solides démontrent les performances supérieures de notre méthode. Le site web du projet est disponible à l'adresse suivante : https://yzxing87.github.io/vae/.

English

Learning a robust video Variational Autoencoder (VAE) is essential for reducing video redundancy and facilitating efficient video generation. Directly applying image VAEs to individual frames in isolation can result in temporal inconsistencies and suboptimal compression rates due to a lack of temporal compression. Existing Video VAEs have begun to address temporal compression; however, they often suffer from inadequate reconstruction performance. In this paper, we present a novel and powerful video autoencoder capable of high-fidelity video encoding. First, we observe that entangling spatial and temporal compression by merely extending the image VAE to a 3D VAE can introduce motion blur and detail distortion artifacts. Thus, we propose temporal-aware spatial compression to better encode and decode the spatial information. Additionally, we integrate a lightweight motion compression model for further temporal compression. Second, we propose to leverage the textual information inherent in text-to-video datasets and incorporate text guidance into our model. This significantly enhances reconstruction quality, particularly in terms of detail preservation and temporal stability. Third, we further improve the versatility of our model through joint training on both images and videos, which not only enhances reconstruction quality but also enables the model to perform both image and video autoencoding. Extensive evaluations against strong recent baselines demonstrate the superior performance of our method. The project website can be found at~https://yzxing87.github.io/vae/{https://yzxing87.github.io/vae/}.