VideoPoet: Un Modello Linguistico su Grande Scala per la Generazione Zero-Shot di Video
VideoPoet: A Large Language Model for Zero-Shot Video Generation
December 21, 2023
Autori: Dan Kondratyuk, Lijun Yu, Xiuye Gu, José Lezama, Jonathan Huang, Rachel Hornung, Hartwig Adam, Hassan Akbari, Yair Alon, Vighnesh Birodkar, Yong Cheng, Ming-Chang Chiu, Josh Dillon, Irfan Essa, Agrim Gupta, Meera Hahn, Anja Hauth, David Hendon, Alonso Martinez, David Minnen, David Ross, Grant Schindler, Mikhail Sirotenko, Kihyuk Sohn, Krishna Somandepalli, Huisheng Wang, Jimmy Yan, Ming-Hsuan Yang, Xuan Yang, Bryan Seybold, Lu Jiang
cs.AI
Abstract
Presentiamo VideoPoet, un modello linguistico in grado di sintetizzare video di alta qualità, con audio corrispondente, a partire da una vasta gamma di segnali di condizionamento. VideoPoet utilizza un'architettura Transformer di tipo decoder-only che elabora input multimodali, inclusi immagini, video, testo e audio. Il protocollo di addestramento segue quello dei Large Language Models (LLM), composto da due fasi: preaddestramento e adattamento specifico per il compito. Durante il preaddestramento, VideoPoet incorpora una miscela di obiettivi generativi multimodali all'interno di un framework Transformer autoregressivo. Il LLM preaddestrato funge da base che può essere adattata per una gamma di task di generazione video. Presentiamo risultati empirici che dimostrano le capacità all'avanguardia del modello nella generazione zero-shot di video, evidenziando in particolare la capacità di VideoPoet di generare movimenti ad alta fedeltà. Pagina del progetto: http://sites.research.google/videopoet/
English
We present VideoPoet, a language model capable of synthesizing high-quality
video, with matching audio, from a large variety of conditioning signals.
VideoPoet employs a decoder-only transformer architecture that processes
multimodal inputs -- including images, videos, text, and audio. The training
protocol follows that of Large Language Models (LLMs), consisting of two
stages: pretraining and task-specific adaptation. During pretraining, VideoPoet
incorporates a mixture of multimodal generative objectives within an
autoregressive Transformer framework. The pretrained LLM serves as a foundation
that can be adapted for a range of video generation tasks. We present empirical
results demonstrating the model's state-of-the-art capabilities in zero-shot
video generation, specifically highlighting VideoPoet's ability to generate
high-fidelity motions. Project page: http://sites.research.google/videopoet/