Snap Video: Trasformatori Spaziotemporali Scalati per la Sintesi da Testo a Video

Snap Video: Scaled Spatiotemporal Transformers for Text-to-Video Synthesis

February 22, 2024

Autori: Willi Menapace, Aliaksandr Siarohin, Ivan Skorokhodov, Ekaterina Deyneka, Tsai-Shien Chen, Anil Kag, Yuwei Fang, Aleksei Stoliar, Elisa Ricci, Jian Ren, Sergey Tulyakov

cs.AI

Abstract

I modelli contemporanei per la generazione di immagini dimostrano una qualità e versatilità notevoli. Influenzati da questi vantaggi, la comunità di ricerca li ripropone per generare video. Poiché il contenuto video è altamente ridondante, sosteniamo che l'applicazione ingenua dei progressi dei modelli di immagini al dominio della generazione video riduca la fedeltà del movimento, la qualità visiva e comprometta la scalabilità. In questo lavoro, sviluppiamo Snap Video, un modello orientato ai video che affronta sistematicamente queste sfide. Per farlo, estendiamo innanzitutto il framework EDM per tenere conto dei pixel ridondanti sia spazialmente che temporalmente, supportando naturalmente la generazione video. In secondo luogo, dimostriamo che una U-Net - un elemento fondamentale nella generazione di immagini - scala male nella generazione di video, richiedendo un sovraccarico computazionale significativo. Proponiamo quindi una nuova architettura basata su transformer che si addestra 3,31 volte più velocemente delle U-Net (ed è ~4,5 volte più veloce nell'inferenza). Ciò ci permette di addestrare in modo efficiente un modello text-to-video con miliardi di parametri per la prima volta, raggiungendo risultati all'avanguardia su numerosi benchmark e generando video con una qualità, coerenza temporale e complessità del movimento sostanzialmente superiori. Gli studi sugli utenti hanno mostrato che il nostro modello è stato preferito con un ampio margine rispetto ai metodi più recenti. Visita il nostro sito web all'indirizzo https://snap-research.github.io/snapvideo/.

English

Contemporary models for generating images show remarkable quality and versatility. Swayed by these advantages, the research community repurposes them to generate videos. Since video content is highly redundant, we argue that naively bringing advances of image models to the video generation domain reduces motion fidelity, visual quality and impairs scalability. In this work, we build Snap Video, a video-first model that systematically addresses these challenges. To do that, we first extend the EDM framework to take into account spatially and temporally redundant pixels and naturally support video generation. Second, we show that a U-Net - a workhorse behind image generation - scales poorly when generating videos, requiring significant computational overhead. Hence, we propose a new transformer-based architecture that trains 3.31 times faster than U-Nets (and is ~4.5 faster at inference). This allows us to efficiently train a text-to-video model with billions of parameters for the first time, reach state-of-the-art results on a number of benchmarks, and generate videos with substantially higher quality, temporal consistency, and motion complexity. The user studies showed that our model was favored by a large margin over the most recent methods. See our website at https://snap-research.github.io/snapvideo/.