VidTok: Универсальный и открытый видео-токенизатор

VidTok: A Versatile and Open-Source Video Tokenizer

December 17, 2024

Авторы: Anni Tang, Tianyu He, Junliang Guo, Xinle Cheng, Li Song, Jiang Bian

cs.AI

Аннотация

Кодирование видеоконтента в компактные латентные токены стало фундаментальным этапом в генерации и понимании видео, обусловленным необходимостью решения врожденной избыточности в представлениях на уровне пикселей. В результате возрос спрос на высокопроизводительные открытые видео-токенизаторы по мере увеличения значимости исследований, сосредоточенных на видео. Мы представляем VidTok, универсальный видео-токенизатор, обеспечивающий передовую производительность как в непрерывных, так и в дискретных токенизациях. VidTok включает в себя несколько ключевых усовершенствований по сравнению с существующими подходами: 1) архитектуру модели, такие как сверточные слои и модули повышения/понижения разрешения; 2) для решения проблемы нестабильности обучения и коллапса кодовой книги, характерных для обычного квантования векторов (VQ), мы интегрируем Конечное Скалярное Квантование (FSQ) в дискретную видео-токенизацию; 3) улучшенные стратегии обучения, включая двухэтапный процесс обучения и использование сниженных частот кадров. Интегрируя эти усовершенствования, VidTok достигает значительных улучшений по сравнению с существующими методами, демонстрируя превосходную производительность по множеству метрик, включая PSNR, SSIM, LPIPS и FVD, в рамках стандартизированных условий оценки.

English

Encoding video content into compact latent tokens has become a fundamental step in video generation and understanding, driven by the need to address the inherent redundancy in pixel-level representations. Consequently, there is a growing demand for high-performance, open-source video tokenizers as video-centric research gains prominence. We introduce VidTok, a versatile video tokenizer that delivers state-of-the-art performance in both continuous and discrete tokenizations. VidTok incorporates several key advancements over existing approaches: 1) model architecture such as convolutional layers and up/downsampling modules; 2) to address the training instability and codebook collapse commonly associated with conventional Vector Quantization (VQ), we integrate Finite Scalar Quantization (FSQ) into discrete video tokenization; 3) improved training strategies, including a two-stage training process and the use of reduced frame rates. By integrating these advancements, VidTok achieves substantial improvements over existing methods, demonstrating superior performance across multiple metrics, including PSNR, SSIM, LPIPS, and FVD, under standardized evaluation settings.