VideoPoet : Un modèle de langage à grande échelle pour la génération de vidéos en zero-shot

VideoPoet: A Large Language Model for Zero-Shot Video Generation

December 21, 2023

Auteurs: Dan Kondratyuk, Lijun Yu, Xiuye Gu, José Lezama, Jonathan Huang, Rachel Hornung, Hartwig Adam, Hassan Akbari, Yair Alon, Vighnesh Birodkar, Yong Cheng, Ming-Chang Chiu, Josh Dillon, Irfan Essa, Agrim Gupta, Meera Hahn, Anja Hauth, David Hendon, Alonso Martinez, David Minnen, David Ross, Grant Schindler, Mikhail Sirotenko, Kihyuk Sohn, Krishna Somandepalli, Huisheng Wang, Jimmy Yan, Ming-Hsuan Yang, Xuan Yang, Bryan Seybold, Lu Jiang

cs.AI

Résumé

Nous présentons VideoPoet, un modèle de langage capable de synthétiser des vidéos de haute qualité, accompagnées d'une bande-son correspondante, à partir d'une grande variété de signaux de conditionnement. VideoPoet utilise une architecture de transformeur décodeur uniquement qui traite des entrées multimodales, incluant des images, des vidéos, du texte et de l'audio. Le protocole d'entraînement suit celui des modèles de langage de grande taille (LLMs), consistant en deux étapes : le pré-entraînement et l'adaptation spécifique à la tâche. Durant le pré-entraînement, VideoPoet intègre un mélange d'objectifs génératifs multimodaux dans un cadre de transformeur autorégressif. Le LLM pré-entraîné sert de fondation pouvant être adaptée pour une gamme de tâches de génération vidéo. Nous présentons des résultats empiriques démontrant les capacités de pointe du modèle en génération de vidéos en zero-shot, mettant particulièrement en avant la capacité de VideoPoet à générer des mouvements de haute fidélité. Page du projet : http://sites.research.google/videopoet/

English

We present VideoPoet, a language model capable of synthesizing high-quality video, with matching audio, from a large variety of conditioning signals. VideoPoet employs a decoder-only transformer architecture that processes multimodal inputs -- including images, videos, text, and audio. The training protocol follows that of Large Language Models (LLMs), consisting of two stages: pretraining and task-specific adaptation. During pretraining, VideoPoet incorporates a mixture of multimodal generative objectives within an autoregressive Transformer framework. The pretrained LLM serves as a foundation that can be adapted for a range of video generation tasks. We present empirical results demonstrating the model's state-of-the-art capabilities in zero-shot video generation, specifically highlighting VideoPoet's ability to generate high-fidelity motions. Project page: http://sites.research.google/videopoet/