VidTok : Un Tokenizer Vidéo Polyvalent et Open-Source

VidTok: A Versatile and Open-Source Video Tokenizer

December 17, 2024

Auteurs: Anni Tang, Tianyu He, Junliang Guo, Xinle Cheng, Li Song, Jiang Bian

cs.AI

Résumé

L'encodage du contenu vidéo en jetons latents compacts est devenu une étape fondamentale dans la génération et la compréhension de vidéos, motivé par la nécessité de traiter la redondance inhérente aux représentations au niveau des pixels. Par conséquent, il existe une demande croissante pour des tokeniseurs vidéo open source haute performance, alors que la recherche centrée sur la vidéo gagne en importance. Nous présentons VidTok, un tokeniseur vidéo polyvalent qui offre des performances de pointe à la fois dans les tokenisations continues et discrètes. VidTok intègre plusieurs avancées clés par rapport aux approches existantes : 1) une architecture de modèle telle que des couches convolutionnelles et des modules d'échantillonnage haut/bas ; 2) pour résoudre l'instabilité de l'entraînement et l'effondrement du codebook généralement associés à la Quantification Vectorielle (VQ) conventionnelle, nous intégrons la Quantification Scalaire Finie (FSQ) dans la tokenisation vidéo discrète ; 3) des stratégies d'entraînement améliorées, comprenant un processus d'entraînement en deux étapes et l'utilisation de taux d'images réduits. En intégrant ces avancées, VidTok réalise des améliorations substantielles par rapport aux méthodes existantes, démontrant des performances supérieures sur plusieurs métriques, y compris le PSNR, le SSIM, le LPIPS et le FVD, dans des paramètres d'évaluation standardisés.

English

Encoding video content into compact latent tokens has become a fundamental step in video generation and understanding, driven by the need to address the inherent redundancy in pixel-level representations. Consequently, there is a growing demand for high-performance, open-source video tokenizers as video-centric research gains prominence. We introduce VidTok, a versatile video tokenizer that delivers state-of-the-art performance in both continuous and discrete tokenizations. VidTok incorporates several key advancements over existing approaches: 1) model architecture such as convolutional layers and up/downsampling modules; 2) to address the training instability and codebook collapse commonly associated with conventional Vector Quantization (VQ), we integrate Finite Scalar Quantization (FSQ) into discrete video tokenization; 3) improved training strategies, including a two-stage training process and the use of reduced frame rates. By integrating these advancements, VidTok achieves substantial improvements over existing methods, demonstrating superior performance across multiple metrics, including PSNR, SSIM, LPIPS, and FVD, under standardized evaluation settings.