VideoPrism: Un Codificador Visual Fundamental para la Comprensión de Videos

Resumen

Presentamos VideoPrism, un codificador de video de propósito general que aborda diversas tareas de comprensión de video con un único modelo congelado. Preentrenamos VideoPrism en un corpus heterogéneo que contiene 36 millones de pares de video-texto de alta calidad y 582 millones de clips de video con texto paralelo ruidoso (por ejemplo, transcripciones ASR). El enfoque de preentrenamiento mejora el autoenmascaramiento mediante la destilación global-local de embeddings semánticos de video y un esquema de reorganización de tokens, permitiendo que VideoPrism se centre principalmente en la modalidad de video mientras aprovecha el invaluable texto asociado con los videos. Evaluamos exhaustivamente VideoPrism en cuatro grupos amplios de tareas de comprensión de video, desde preguntas y respuestas sobre videos web hasta visión por computadora para la ciencia, logrando un rendimiento de vanguardia en 30 de 33 benchmarks de comprensión de video.

English

We introduce VideoPrism, a general-purpose video encoder that tackles diverse video understanding tasks with a single frozen model. We pretrain VideoPrism on a heterogeneous corpus containing 36M high-quality video-caption pairs and 582M video clips with noisy parallel text (e.g., ASR transcripts). The pretraining approach improves upon masked autoencoding by global-local distillation of semantic video embeddings and a token shuffling scheme, enabling VideoPrism to focus primarily on the video modality while leveraging the invaluable text associated with videos. We extensively test VideoPrism on four broad groups of video understanding tasks, from web video question answering to CV for science, achieving state-of-the-art performance on 30 out of 33 video understanding benchmarks.

VideoPrism: Un Codificador Visual Fundamental para la Comprensión de Videos

VideoPrism: A Foundational Visual Encoder for Video Understanding

Resumen

Support