VidTok: Een veelzijdige en open-source video-tokenizer

VidTok: A Versatile and Open-Source Video Tokenizer

December 17, 2024

Auteurs: Anni Tang, Tianyu He, Junliang Guo, Xinle Cheng, Li Song, Jiang Bian

cs.AI

Samenvatting

Het encoderen van videomateriaal in compacte latente tokens is een fundamentele stap geworden in video-generatie en -begrip, gedreven door de noodzaak om de inherente redundantie in pixelniveau-representaties aan te pakken. Als gevolg hiervan is er een groeiende vraag naar hoogwaardige, open-source video-tokenizers nu video-gecentreerd onderzoek aan belang wint. We introduceren VidTok, een veelzijdige video-tokenizer die state-of-the-art prestaties levert in zowel continue als discrete tokenisaties. VidTok omvat verschillende belangrijke vooruitgangen ten opzichte van bestaande benaderingen: 1) modelarchitectuur zoals convolutionele lagen en up/downsampling-modules; 2) om de trainingsinstabiliteit en codeboekinstorting die vaak geassocieerd worden met conventionele Vector Quantization (VQ) aan te pakken, integreren we Finite Scalar Quantization (FSQ) in discrete video-tokenisatie; 3) verbeterde trainingsstrategieën, waaronder een tweefasig trainingsproces en het gebruik van verlaagde framerates. Door deze vooruitgangen te integreren, behaalt VidTok aanzienlijke verbeteringen ten opzichte van bestaande methoden, waarbij superieure prestaties worden aangetoond op meerdere metrieken, waaronder PSNR, SSIM, LPIPS en FVD, onder gestandaardiseerde evaluatie-instellingen.

English

Encoding video content into compact latent tokens has become a fundamental step in video generation and understanding, driven by the need to address the inherent redundancy in pixel-level representations. Consequently, there is a growing demand for high-performance, open-source video tokenizers as video-centric research gains prominence. We introduce VidTok, a versatile video tokenizer that delivers state-of-the-art performance in both continuous and discrete tokenizations. VidTok incorporates several key advancements over existing approaches: 1) model architecture such as convolutional layers and up/downsampling modules; 2) to address the training instability and codebook collapse commonly associated with conventional Vector Quantization (VQ), we integrate Finite Scalar Quantization (FSQ) into discrete video tokenization; 3) improved training strategies, including a two-stage training process and the use of reduced frame rates. By integrating these advancements, VidTok achieves substantial improvements over existing methods, demonstrating superior performance across multiple metrics, including PSNR, SSIM, LPIPS, and FVD, under standardized evaluation settings.