VidTok: Un Tokenizador de Vídeo Versátil y de Código Abierto

VidTok: A Versatile and Open-Source Video Tokenizer

December 17, 2024

Autores: Anni Tang, Tianyu He, Junliang Guo, Xinle Cheng, Li Song, Jiang Bian

cs.AI

Resumen

La codificación del contenido de video en tokens latentes compactos se ha convertido en un paso fundamental en la generación y comprensión de videos, impulsado por la necesidad de abordar la redundancia inherente en las representaciones a nivel de píxeles. En consecuencia, hay una creciente demanda de tokenizadores de video de alto rendimiento y de código abierto a medida que la investigación centrada en videos gana prominencia. Presentamos VidTok, un tokenizador de video versátil que ofrece un rendimiento de vanguardia tanto en tokenizaciones continuas como discretas. VidTok incorpora varios avances clave sobre enfoques existentes: 1) arquitectura de modelo como capas convolucionales y módulos de muestreo ascendente/descendente; 2) para abordar la inestabilidad en el entrenamiento y el colapso del libro de códigos comúnmente asociados con la cuantificación vectorial convencional (VQ), integramos la Cuantificación Escalar Finita (FSQ) en la tokenización de video discreta; 3) estrategias de entrenamiento mejoradas, que incluyen un proceso de entrenamiento de dos etapas y el uso de tasas de cuadros reducidas. Al integrar estos avances, VidTok logra mejoras sustanciales sobre los métodos existentes, demostrando un rendimiento superior en múltiples métricas, incluyendo PSNR, SSIM, LPIPS y FVD, bajo configuraciones de evaluación estandarizadas.

English

Encoding video content into compact latent tokens has become a fundamental step in video generation and understanding, driven by the need to address the inherent redundancy in pixel-level representations. Consequently, there is a growing demand for high-performance, open-source video tokenizers as video-centric research gains prominence. We introduce VidTok, a versatile video tokenizer that delivers state-of-the-art performance in both continuous and discrete tokenizations. VidTok incorporates several key advancements over existing approaches: 1) model architecture such as convolutional layers and up/downsampling modules; 2) to address the training instability and codebook collapse commonly associated with conventional Vector Quantization (VQ), we integrate Finite Scalar Quantization (FSQ) into discrete video tokenization; 3) improved training strategies, including a two-stage training process and the use of reduced frame rates. By integrating these advancements, VidTok achieves substantial improvements over existing methods, demonstrating superior performance across multiple metrics, including PSNR, SSIM, LPIPS, and FVD, under standardized evaluation settings.