Автоэнкодер видео с большими движениями с кросс-модальным видео VAE

Large Motion Video Autoencoding with Cross-modal Video VAE

December 23, 2024

Авторы: Yazhou Xing, Yang Fei, Yingqing He, Jingye Chen, Jiaxin Xie, Xiaowei Chi, Qifeng Chen

cs.AI

Аннотация

Обучение надежного видео вариационного автокодировщика (VAE) является важным для снижения избыточности видео и облегчения эффективной генерации видео. Прямое применение изображений VAE к отдельным кадрам может привести к временным несоответствиям и субоптимальным коэффициентам сжатия из-за отсутствия временного сжатия. Существующие видео VAE начали решать проблему временного сжатия; однако они часто страдают от недостаточной производительности восстановления. В этой статье мы представляем новый и мощный видео автокодировщик, способный к высококачественному видео кодированию. Во-первых, мы замечаем, что спутывание пространственного и временного сжатия путем простого расширения изображения VAE до 3D VAE может привести к появлению размытости движения и артефактов искажения деталей. Поэтому мы предлагаем пространственное сжатие, осознавающее временные аспекты, для более эффективного кодирования и декодирования пространственной информации. Кроме того, мы интегрируем легкую модель сжатия движения для дальнейшего временного сжатия. Во-вторых, мы предлагаем использовать текстовую информацию, присущую наборам данных текст-видео, и внедрить текстовое руководство в нашу модель. Это значительно улучшает качество восстановления, особенно с точки зрения сохранения деталей и временной стабильности. В-третьих, мы дополнительно улучшаем универсальность нашей модели путем совместного обучения как на изображениях, так и на видео, что не только улучшает качество восстановления, но и позволяет модели выполнять как автокодирование изображений, так и видео. Обширные оценки по сравнению с сильными недавними базовыми уровнями демонстрируют превосходную производительность нашего метода. Веб-сайт проекта можно найти по адресу https://yzxing87.github.io/vae/.

English

Learning a robust video Variational Autoencoder (VAE) is essential for reducing video redundancy and facilitating efficient video generation. Directly applying image VAEs to individual frames in isolation can result in temporal inconsistencies and suboptimal compression rates due to a lack of temporal compression. Existing Video VAEs have begun to address temporal compression; however, they often suffer from inadequate reconstruction performance. In this paper, we present a novel and powerful video autoencoder capable of high-fidelity video encoding. First, we observe that entangling spatial and temporal compression by merely extending the image VAE to a 3D VAE can introduce motion blur and detail distortion artifacts. Thus, we propose temporal-aware spatial compression to better encode and decode the spatial information. Additionally, we integrate a lightweight motion compression model for further temporal compression. Second, we propose to leverage the textual information inherent in text-to-video datasets and incorporate text guidance into our model. This significantly enhances reconstruction quality, particularly in terms of detail preservation and temporal stability. Third, we further improve the versatility of our model through joint training on both images and videos, which not only enhances reconstruction quality but also enables the model to perform both image and video autoencoding. Extensive evaluations against strong recent baselines demonstrate the superior performance of our method. The project website can be found at~https://yzxing87.github.io/vae/{https://yzxing87.github.io/vae/}.