VideoPrism: Un Codificatore Visivo Fondamentale per la Comprensione dei Video
VideoPrism: A Foundational Visual Encoder for Video Understanding
February 20, 2024
Autori: Long Zhao, Nitesh B. Gundavarapu, Liangzhe Yuan, Hao Zhou, Shen Yan, Jennifer J. Sun, Luke Friedman, Rui Qian, Tobias Weyand, Yue Zhao, Rachel Hornung, Florian Schroff, Ming-Hsuan Yang, David A. Ross, Huisheng Wang, Hartwig Adam, Mikhail Sirotenko, Ting Liu, Boqing Gong
cs.AI
Abstract
Presentiamo VideoPrism, un codificatore video generico che affronta una vasta gamma di attività di comprensione video con un singolo modello congelato. Addestriamo VideoPrism su un corpus eterogeneo contenente 36 milioni di coppie video-didascalia di alta qualità e 582 milioni di clip video con testo parallelo rumoroso (ad esempio, trascrizioni ASR). L'approccio di pre-addestramento migliora l'auto-codifica mascherata attraverso la distillazione globale-locale di embedding video semantici e uno schema di riordinamento dei token, consentendo a VideoPrism di concentrarsi principalmente sulla modalità video sfruttando al contempo il prezioso testo associato ai video. Testiamo ampiamente VideoPrism su quattro ampi gruppi di attività di comprensione video, dal question answering su video web alla visione artificiale per la scienza, raggiungendo prestazioni all'avanguardia su 30 dei 33 benchmark di comprensione video.
English
We introduce VideoPrism, a general-purpose video encoder that tackles diverse
video understanding tasks with a single frozen model. We pretrain VideoPrism on
a heterogeneous corpus containing 36M high-quality video-caption pairs and 582M
video clips with noisy parallel text (e.g., ASR transcripts). The pretraining
approach improves upon masked autoencoding by global-local distillation of
semantic video embeddings and a token shuffling scheme, enabling VideoPrism to
focus primarily on the video modality while leveraging the invaluable text
associated with videos. We extensively test VideoPrism on four broad groups of
video understanding tasks, from web video question answering to CV for science,
achieving state-of-the-art performance on 30 out of 33 video understanding
benchmarks.