LARP: Токенизация видео с обученным авторегрессивным генеративным априорным распределением.

LARP: Tokenizing Videos with a Learned Autoregressive Generative Prior

October 28, 2024

Авторы: Hanyu Wang, Saksham Suri, Yixuan Ren, Hao Chen, Abhinav Shrivastava

cs.AI

Аннотация

Мы представляем LARP, новаторский видеотокенизатор, разработанный для преодоления ограничений текущих методов токенизации видео для авторегрессионных (AR) генеративных моделей. В отличие от традиционных токенизаторов, разбивающих видео на патчи и преобразующих их в дискретные токены, LARP представляет собой голистическую схему токенизации, собирающую информацию из визуального контента с использованием набора обученных голистических запросов. Этот дизайн позволяет LARP захватывать более глобальные и семантические представления, вместо ограничения локальной информацией на уровне патчей. Более того, он обеспечивает гибкость, поддерживая произвольное количество дискретных токенов, обеспечивая адаптивную и эффективную токенизацию в зависимости от конкретных требований задачи. Для согласования дискретного пространства токенов с последующими задачами AR генерации, LARP интегрирует легковесный AR трансформер в качестве модели априорного обучения, которая предсказывает следующий токен в своем дискретном латентном пространстве. Путем включения модели априорного обучения во время обучения LARP изучает латентное пространство, оптимизированное не только для восстановления видео, но и структурированное таким образом, что более благоприятно для авторегрессивной генерации. Более того, этот процесс определяет последовательный порядок дискретных токенов, постепенно приближая их к оптимальной конфигурации во время обучения, обеспечивая более плавную и точную AR генерацию во время вывода. Обширные эксперименты демонстрируют высокую производительность LARP, достигая передового показателя FVD на бенчмарке по генерации видео с условиями классов UCF101. LARP улучшает совместимость AR моделей с видео и открывает потенциал для создания единой высококачественной мультимодальной модели большого языка (MLLMs).

English

We present LARP, a novel video tokenizer designed to overcome limitations in current video tokenization methods for autoregressive (AR) generative models. Unlike traditional patchwise tokenizers that directly encode local visual patches into discrete tokens, LARP introduces a holistic tokenization scheme that gathers information from the visual content using a set of learned holistic queries. This design allows LARP to capture more global and semantic representations, rather than being limited to local patch-level information. Furthermore, it offers flexibility by supporting an arbitrary number of discrete tokens, enabling adaptive and efficient tokenization based on the specific requirements of the task. To align the discrete token space with downstream AR generation tasks, LARP integrates a lightweight AR transformer as a training-time prior model that predicts the next token on its discrete latent space. By incorporating the prior model during training, LARP learns a latent space that is not only optimized for video reconstruction but is also structured in a way that is more conducive to autoregressive generation. Moreover, this process defines a sequential order for the discrete tokens, progressively pushing them toward an optimal configuration during training, ensuring smoother and more accurate AR generation at inference time. Comprehensive experiments demonstrate LARP's strong performance, achieving state-of-the-art FVD on the UCF101 class-conditional video generation benchmark. LARP enhances the compatibility of AR models with videos and opens up the potential to build unified high-fidelity multimodal large language models (MLLMs).