VideoPrism : Un encodeur visuel fondamental pour la compréhension vidéo

VideoPrism: A Foundational Visual Encoder for Video Understanding

February 20, 2024

Auteurs: Long Zhao, Nitesh B. Gundavarapu, Liangzhe Yuan, Hao Zhou, Shen Yan, Jennifer J. Sun, Luke Friedman, Rui Qian, Tobias Weyand, Yue Zhao, Rachel Hornung, Florian Schroff, Ming-Hsuan Yang, David A. Ross, Huisheng Wang, Hartwig Adam, Mikhail Sirotenko, Ting Liu, Boqing Gong

cs.AI

Résumé

Nous présentons VideoPrism, un encodeur vidéo polyvalent qui aborde diverses tâches de compréhension vidéo avec un seul modèle figé. Nous pré-entraînons VideoPrism sur un corpus hétérogène contenant 36 millions de paires vidéo-légendes de haute qualité et 582 millions de clips vidéo avec du texte parallèle bruité (par exemple, des transcriptions ASR). L'approche de pré-entraînement améliore l'auto-encodage masqué par une distillation globale-locale des embeddings sémantiques vidéo et un schéma de mélange de tokens, permettant à VideoPrism de se concentrer principalement sur la modalité vidéo tout en exploitant le texte précieux associé aux vidéos. Nous testons largement VideoPrism sur quatre grands groupes de tâches de compréhension vidéo, allant des questions-réponses sur des vidéos web à la vision par ordinateur pour la science, obtenant des performances de pointe sur 30 des 33 benchmarks de compréhension vidéo.

English

We introduce VideoPrism, a general-purpose video encoder that tackles diverse video understanding tasks with a single frozen model. We pretrain VideoPrism on a heterogeneous corpus containing 36M high-quality video-caption pairs and 582M video clips with noisy parallel text (e.g., ASR transcripts). The pretraining approach improves upon masked autoencoding by global-local distillation of semantic video embeddings and a token shuffling scheme, enabling VideoPrism to focus primarily on the video modality while leveraging the invaluable text associated with videos. We extensively test VideoPrism on four broad groups of video understanding tasks, from web video question answering to CV for science, achieving state-of-the-art performance on 30 out of 33 video understanding benchmarks.