Codificación automática de video de gran movimiento con VAE de video multimodal

Large Motion Video Autoencoding with Cross-modal Video VAE

December 23, 2024

Autores: Yazhou Xing, Yang Fei, Yingqing He, Jingye Chen, Jiaxin Xie, Xiaowei Chi, Qifeng Chen

cs.AI

Resumen

Aprender a desarrollar un Variational Autoencoder (VAE) de video robusto es esencial para reducir la redundancia en los videos y facilitar una generación eficiente de videos. Aplicar directamente VAEs de imagen a fotogramas individuales de forma aislada puede resultar en inconsistencias temporales y tasas de compresión subóptimas debido a la falta de compresión temporal. Los VAEs de video existentes han comenzado a abordar la compresión temporal; sin embargo, a menudo sufren de un rendimiento de reconstrucción inadecuado. En este artículo, presentamos un autoencoder de video novedoso y potente capaz de codificar videos de alta fidelidad. En primer lugar, observamos que entrelazar la compresión espacial y temporal simplemente extendiendo el VAE de imagen a un VAE 3D puede introducir artefactos de desenfoque de movimiento y distorsión de detalles. Por lo tanto, proponemos una compresión espacial consciente de lo temporal para codificar y decodificar mejor la información espacial. Además, integramos un modelo de compresión de movimiento ligero para una mayor compresión temporal. En segundo lugar, proponemos aprovechar la información textual inherente en conjuntos de datos de texto a video e incorporar la guía de texto en nuestro modelo. Esto mejora significativamente la calidad de reconstrucción, especialmente en términos de preservación de detalles y estabilidad temporal. En tercer lugar, mejoramos aún más la versatilidad de nuestro modelo a través del entrenamiento conjunto en imágenes y videos, lo que no solo mejora la calidad de reconstrucción, sino que también permite que el modelo realice tanto autoencoding de imágenes como de videos. Evaluaciones extensas frente a baselines recientes sólidos demuestran el rendimiento superior de nuestro método. El sitio web del proyecto se puede encontrar en https://yzxing87.github.io/vae/.

English

Learning a robust video Variational Autoencoder (VAE) is essential for reducing video redundancy and facilitating efficient video generation. Directly applying image VAEs to individual frames in isolation can result in temporal inconsistencies and suboptimal compression rates due to a lack of temporal compression. Existing Video VAEs have begun to address temporal compression; however, they often suffer from inadequate reconstruction performance. In this paper, we present a novel and powerful video autoencoder capable of high-fidelity video encoding. First, we observe that entangling spatial and temporal compression by merely extending the image VAE to a 3D VAE can introduce motion blur and detail distortion artifacts. Thus, we propose temporal-aware spatial compression to better encode and decode the spatial information. Additionally, we integrate a lightweight motion compression model for further temporal compression. Second, we propose to leverage the textual information inherent in text-to-video datasets and incorporate text guidance into our model. This significantly enhances reconstruction quality, particularly in terms of detail preservation and temporal stability. Third, we further improve the versatility of our model through joint training on both images and videos, which not only enhances reconstruction quality but also enables the model to perform both image and video autoencoding. Extensive evaluations against strong recent baselines demonstrate the superior performance of our method. The project website can be found at~https://yzxing87.github.io/vae/{https://yzxing87.github.io/vae/}.