VideoPoet: Модель обработки естественного языка для генерации видео с нулевым обучением

VideoPoet: A Large Language Model for Zero-Shot Video Generation

December 21, 2023

Авторы: Dan Kondratyuk, Lijun Yu, Xiuye Gu, José Lezama, Jonathan Huang, Rachel Hornung, Hartwig Adam, Hassan Akbari, Yair Alon, Vighnesh Birodkar, Yong Cheng, Ming-Chang Chiu, Josh Dillon, Irfan Essa, Agrim Gupta, Meera Hahn, Anja Hauth, David Hendon, Alonso Martinez, David Minnen, David Ross, Grant Schindler, Mikhail Sirotenko, Kihyuk Sohn, Krishna Somandepalli, Huisheng Wang, Jimmy Yan, Ming-Hsuan Yang, Xuan Yang, Bryan Seybold, Lu Jiang

cs.AI

Аннотация

Мы представляем VideoPoet — языковую модель, способную синтезировать высококачественные видео с соответствующим аудио на основе широкого спектра входных сигналов. VideoPoet использует архитектуру трансформера, работающую только в режиме декодера, которая обрабатывает мультимодальные входные данные, включая изображения, видео, текст и аудио. Процедура обучения следует подходу, применяемому в крупных языковых моделях (LLM), и состоит из двух этапов: предварительного обучения и адаптации под конкретные задачи. На этапе предварительного обучения VideoPoet интегрирует смесь мультимодальных генеративных задач в рамках авторегрессивной архитектуры трансформера. Предварительно обученная LLM служит основой, которая может быть адаптирована для решения различных задач генерации видео. Мы представляем эмпирические результаты, демонстрирующие передовые возможности модели в генерации видео в режиме zero-shot, с акцентом на способность VideoPoet создавать движения высокой точности. Страница проекта: http://sites.research.google/videopoet/

English

We present VideoPoet, a language model capable of synthesizing high-quality video, with matching audio, from a large variety of conditioning signals. VideoPoet employs a decoder-only transformer architecture that processes multimodal inputs -- including images, videos, text, and audio. The training protocol follows that of Large Language Models (LLMs), consisting of two stages: pretraining and task-specific adaptation. During pretraining, VideoPoet incorporates a mixture of multimodal generative objectives within an autoregressive Transformer framework. The pretrained LLM serves as a foundation that can be adapted for a range of video generation tasks. We present empirical results demonstrating the model's state-of-the-art capabilities in zero-shot video generation, specifically highlighting VideoPoet's ability to generate high-fidelity motions. Project page: http://sites.research.google/videopoet/