VideoPoet: Um Modelo de Linguagem de Grande Escala para Geração de Vídeo Zero-Shot
VideoPoet: A Large Language Model for Zero-Shot Video Generation
December 21, 2023
Autores: Dan Kondratyuk, Lijun Yu, Xiuye Gu, José Lezama, Jonathan Huang, Rachel Hornung, Hartwig Adam, Hassan Akbari, Yair Alon, Vighnesh Birodkar, Yong Cheng, Ming-Chang Chiu, Josh Dillon, Irfan Essa, Agrim Gupta, Meera Hahn, Anja Hauth, David Hendon, Alonso Martinez, David Minnen, David Ross, Grant Schindler, Mikhail Sirotenko, Kihyuk Sohn, Krishna Somandepalli, Huisheng Wang, Jimmy Yan, Ming-Hsuan Yang, Xuan Yang, Bryan Seybold, Lu Jiang
cs.AI
Resumo
Apresentamos o VideoPoet, um modelo de linguagem capaz de sintetizar vídeos de alta qualidade, com áudio correspondente, a partir de uma grande variedade de sinais de condicionamento. O VideoPoet emprega uma arquitetura de transformador apenas com decodificador que processa entradas multimodais — incluindo imagens, vídeos, texto e áudio. O protocolo de treinamento segue o dos Modelos de Linguagem de Grande Escala (LLMs, na sigla em inglês), consistindo em duas etapas: pré-treinamento e adaptação específica para tarefas. Durante o pré-treinamento, o VideoPoet incorpora uma mistura de objetivos generativos multimodais dentro de uma estrutura de Transformador autorregressivo. O LLM pré-treinado serve como uma base que pode ser adaptada para uma variedade de tarefas de geração de vídeo. Apresentamos resultados empíricos que demonstram as capacidades de última geração do modelo na geração de vídeos zero-shot, destacando especificamente a habilidade do VideoPoet de gerar movimentos de alta fidelidade. Página do projeto: http://sites.research.google/videopoet/
English
We present VideoPoet, a language model capable of synthesizing high-quality
video, with matching audio, from a large variety of conditioning signals.
VideoPoet employs a decoder-only transformer architecture that processes
multimodal inputs -- including images, videos, text, and audio. The training
protocol follows that of Large Language Models (LLMs), consisting of two
stages: pretraining and task-specific adaptation. During pretraining, VideoPoet
incorporates a mixture of multimodal generative objectives within an
autoregressive Transformer framework. The pretrained LLM serves as a foundation
that can be adapted for a range of video generation tasks. We present empirical
results demonstrating the model's state-of-the-art capabilities in zero-shot
video generation, specifically highlighting VideoPoet's ability to generate
high-fidelity motions. Project page: http://sites.research.google/videopoet/