VideoPrism: Ein grundlegender visueller Encoder für das Verständnis von Videos

VideoPrism: A Foundational Visual Encoder for Video Understanding

February 20, 2024

Autoren: Long Zhao, Nitesh B. Gundavarapu, Liangzhe Yuan, Hao Zhou, Shen Yan, Jennifer J. Sun, Luke Friedman, Rui Qian, Tobias Weyand, Yue Zhao, Rachel Hornung, Florian Schroff, Ming-Hsuan Yang, David A. Ross, Huisheng Wang, Hartwig Adam, Mikhail Sirotenko, Ting Liu, Boqing Gong

cs.AI

Zusammenfassung

Wir stellen VideoPrism vor, einen allgemeinen Video-Encoder, der verschiedene Video-Verständnisaufgaben mit einem einzigen eingefrorenen Modell bewältigt. Wir pretrainieren VideoPrism auf einem heterogenen Korpus, der 36 Millionen hochwertige Video-Beschriftungs-Paare und 582 Millionen Videoclips mit verrauschtem parallelem Text (z.B. ASR-Transkripte) enthält. Der Pretraining-Ansatz verbessert das maskierte Autoencoding durch eine global-lokale Destillation semantischer Video-Einbettungen und ein Token-Shuffling-Schema, wodurch VideoPrism sich primär auf die Video-Modalität konzentrieren kann, während der wertvolle mit Videos assoziierte Text genutzt wird. Wir testen VideoPrism umfassend in vier breiten Gruppen von Video-Verständnisaufgaben, von Web-Video-Fragebeantwortung bis hin zu CV für die Wissenschaft, und erreichen state-of-the-art Leistungen in 30 von 33 Video-Verständnis-Benchmarks.

English

We introduce VideoPrism, a general-purpose video encoder that tackles diverse video understanding tasks with a single frozen model. We pretrain VideoPrism on a heterogeneous corpus containing 36M high-quality video-caption pairs and 582M video clips with noisy parallel text (e.g., ASR transcripts). The pretraining approach improves upon masked autoencoding by global-local distillation of semantic video embeddings and a token shuffling scheme, enabling VideoPrism to focus primarily on the video modality while leveraging the invaluable text associated with videos. We extensively test VideoPrism on four broad groups of video understanding tasks, from web video question answering to CV for science, achieving state-of-the-art performance on 30 out of 33 video understanding benchmarks.