VideoPoet: Een Groot Taalmodel voor Zero-Shot Videogeneratie

VideoPoet: A Large Language Model for Zero-Shot Video Generation

December 21, 2023

Auteurs: Dan Kondratyuk, Lijun Yu, Xiuye Gu, José Lezama, Jonathan Huang, Rachel Hornung, Hartwig Adam, Hassan Akbari, Yair Alon, Vighnesh Birodkar, Yong Cheng, Ming-Chang Chiu, Josh Dillon, Irfan Essa, Agrim Gupta, Meera Hahn, Anja Hauth, David Hendon, Alonso Martinez, David Minnen, David Ross, Grant Schindler, Mikhail Sirotenko, Kihyuk Sohn, Krishna Somandepalli, Huisheng Wang, Jimmy Yan, Ming-Hsuan Yang, Xuan Yang, Bryan Seybold, Lu Jiang

cs.AI

Samenvatting

We presenteren VideoPoet, een taalmodel dat in staat is om hoogwaardige video's, inclusief bijpassende audio, te synthetiseren vanuit een grote verscheidenheid aan conditioneringssignalen. VideoPoet maakt gebruik van een decoder-only transformer-architectuur die multimodale invoer verwerkt — waaronder afbeeldingen, video's, tekst en audio. Het trainingsprotocol volgt dat van Large Language Models (LLMs) en bestaat uit twee fasen: voorafgaande training en taakspecifieke aanpassing. Tijdens de voorafgaande training integreert VideoPoet een mix van multimodale generatieve doelstellingen binnen een autoregressief Transformer-raamwerk. Het vooraf getrainde LLM dient als basis die kan worden aangepast voor een reeks videogeneratietaken. We presenteren empirische resultaten die de state-of-the-art mogelijkheden van het model aantonen in zero-shot videogeneratie, met specifieke nadruk op de vaardigheid van VideoPoet om hoogwaardige bewegingen te genereren. Projectpagina: http://sites.research.google/videopoet/

English

We present VideoPoet, a language model capable of synthesizing high-quality video, with matching audio, from a large variety of conditioning signals. VideoPoet employs a decoder-only transformer architecture that processes multimodal inputs -- including images, videos, text, and audio. The training protocol follows that of Large Language Models (LLMs), consisting of two stages: pretraining and task-specific adaptation. During pretraining, VideoPoet incorporates a mixture of multimodal generative objectives within an autoregressive Transformer framework. The pretrained LLM serves as a foundation that can be adapted for a range of video generation tasks. We present empirical results demonstrating the model's state-of-the-art capabilities in zero-shot video generation, specifically highlighting VideoPoet's ability to generate high-fidelity motions. Project page: http://sites.research.google/videopoet/