VideoPrism: 비디오 이해를 위한 기초 시각 인코더

VideoPrism: A Foundational Visual Encoder for Video Understanding

February 20, 2024

저자: Long Zhao, Nitesh B. Gundavarapu, Liangzhe Yuan, Hao Zhou, Shen Yan, Jennifer J. Sun, Luke Friedman, Rui Qian, Tobias Weyand, Yue Zhao, Rachel Hornung, Florian Schroff, Ming-Hsuan Yang, David A. Ross, Huisheng Wang, Hartwig Adam, Mikhail Sirotenko, Ting Liu, Boqing Gong

cs.AI

초록

우리는 다양한 비디오 이해 작업을 단일 고정 모델로 해결하는 범용 비디오 인코더인 VideoPrism을 소개합니다. VideoPrism은 3,600만 개의 고품질 비디오-캡션 쌍과 5억 8,200만 개의 노이즈가 있는 병렬 텍스트(예: ASR 트랜스크립트)를 포함한 이질적인 코퍼스로 사전 학습되었습니다. 이 사전 학습 접근법은 시맨틱 비디오 임베딩의 글로벌-로컬 디스틸레이션과 토큰 셔플링 기법을 통해 마스크드 오토인코딩을 개선하여, VideoPrism이 비디오 모달리티에 주로 집중하면서도 비디오와 연관된 귀중한 텍스트를 활용할 수 있도록 합니다. 우리는 VideoPrism을 웹 비디오 질의응답부터 과학을 위한 컴퓨터 비전에 이르는 네 가지 광범위한 비디오 이해 작업 그룹에서 광범위하게 테스트하였으며, 33개 비디오 이해 벤치마크 중 30개에서 최첨단 성능을 달성했습니다.

English

We introduce VideoPrism, a general-purpose video encoder that tackles diverse video understanding tasks with a single frozen model. We pretrain VideoPrism on a heterogeneous corpus containing 36M high-quality video-caption pairs and 582M video clips with noisy parallel text (e.g., ASR transcripts). The pretraining approach improves upon masked autoencoding by global-local distillation of semantic video embeddings and a token shuffling scheme, enabling VideoPrism to focus primarily on the video modality while leveraging the invaluable text associated with videos. We extensively test VideoPrism on four broad groups of video understanding tasks, from web video question answering to CV for science, achieving state-of-the-art performance on 30 out of 33 video understanding benchmarks.