VideoPoet: Un Modelo de Lenguaje a Gran Escala para la Generación de Videos en Modo Cero-Shot

VideoPoet: A Large Language Model for Zero-Shot Video Generation

December 21, 2023

Autores: Dan Kondratyuk, Lijun Yu, Xiuye Gu, José Lezama, Jonathan Huang, Rachel Hornung, Hartwig Adam, Hassan Akbari, Yair Alon, Vighnesh Birodkar, Yong Cheng, Ming-Chang Chiu, Josh Dillon, Irfan Essa, Agrim Gupta, Meera Hahn, Anja Hauth, David Hendon, Alonso Martinez, David Minnen, David Ross, Grant Schindler, Mikhail Sirotenko, Kihyuk Sohn, Krishna Somandepalli, Huisheng Wang, Jimmy Yan, Ming-Hsuan Yang, Xuan Yang, Bryan Seybold, Lu Jiang

cs.AI

Resumen

Presentamos VideoPoet, un modelo de lenguaje capaz de sintetizar videos de alta calidad, con audio coincidente, a partir de una amplia variedad de señales de condicionamiento. VideoPoet emplea una arquitectura de transformador solo-decodificador que procesa entradas multimodales, incluyendo imágenes, videos, texto y audio. El protocolo de entrenamiento sigue el de los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés), consistiendo en dos etapas: preentrenamiento y adaptación específica para tareas. Durante el preentrenamiento, VideoPoet incorpora una mezcla de objetivos generativos multimodales dentro de un marco de transformador autorregresivo. El LLM preentrenado sirve como base que puede adaptarse para una variedad de tareas de generación de video. Presentamos resultados empíricos que demuestran las capacidades de vanguardia del modelo en la generación de video en modo zero-shot, destacando específicamente la habilidad de VideoPoet para generar movimientos de alta fidelidad. Página del proyecto: http://sites.research.google/videopoet/

English

We present VideoPoet, a language model capable of synthesizing high-quality video, with matching audio, from a large variety of conditioning signals. VideoPoet employs a decoder-only transformer architecture that processes multimodal inputs -- including images, videos, text, and audio. The training protocol follows that of Large Language Models (LLMs), consisting of two stages: pretraining and task-specific adaptation. During pretraining, VideoPoet incorporates a mixture of multimodal generative objectives within an autoregressive Transformer framework. The pretrained LLM serves as a foundation that can be adapted for a range of video generation tasks. We present empirical results demonstrating the model's state-of-the-art capabilities in zero-shot video generation, specifically highlighting VideoPoet's ability to generate high-fidelity motions. Project page: http://sites.research.google/videopoet/