VideoPrism: Um Codificador Visual Fundamental para Compreensão de Vídeo
VideoPrism: A Foundational Visual Encoder for Video Understanding
February 20, 2024
Autores: Long Zhao, Nitesh B. Gundavarapu, Liangzhe Yuan, Hao Zhou, Shen Yan, Jennifer J. Sun, Luke Friedman, Rui Qian, Tobias Weyand, Yue Zhao, Rachel Hornung, Florian Schroff, Ming-Hsuan Yang, David A. Ross, Huisheng Wang, Hartwig Adam, Mikhail Sirotenko, Ting Liu, Boqing Gong
cs.AI
Resumo
Apresentamos o VideoPrism, um codificador de vídeo de propósito geral que aborda diversas tarefas de compreensão de vídeo com um único modelo congelado. Pré-treinamos o VideoPrism em um corpus heterogêneo contendo 36 milhões de pares vídeo-legenda de alta qualidade e 582 milhões de clipes de vídeo com texto paralelo ruidoso (por exemplo, transcrições ASR). A abordagem de pré-treinamento aprimora a auto codificação mascarada por meio da destilação global-local de embeddings semânticos de vídeo e um esquema de embaralhamento de tokens, permitindo que o VideoPrism se concentre principalmente na modalidade de vídeo enquanto aproveita o texto valioso associado aos vídeos. Testamos extensivamente o VideoPrism em quatro grandes grupos de tarefas de compreensão de vídeo, desde questionários sobre vídeos da web até visão computacional para ciência, alcançando desempenho de ponta em 30 dos 33 benchmarks de compreensão de vídeo.
English
We introduce VideoPrism, a general-purpose video encoder that tackles diverse
video understanding tasks with a single frozen model. We pretrain VideoPrism on
a heterogeneous corpus containing 36M high-quality video-caption pairs and 582M
video clips with noisy parallel text (e.g., ASR transcripts). The pretraining
approach improves upon masked autoencoding by global-local distillation of
semantic video embeddings and a token shuffling scheme, enabling VideoPrism to
focus primarily on the video modality while leveraging the invaluable text
associated with videos. We extensively test VideoPrism on four broad groups of
video understanding tasks, from web video question answering to CV for science,
achieving state-of-the-art performance on 30 out of 33 video understanding
benchmarks.