VideoPrism: ビデオ理解のための基盤的視覚エンコーダ

要旨

私たちは、単一の凍結モデルで多様なビデオ理解タスクに取り組む汎用ビデオエンコーダーであるVideoPrismを紹介します。VideoPrismは、3600万の高品質なビデオとキャプションペア、および582Mのノイズの多い並列テキスト（例：ASRトランスクリプト）を含む異種コーパスで事前学習を行います。この事前学習アプローチは、セマンティックビデオ埋め込みのグローバル-ローカル蒸留とトークンシャッフリングスキームによってマスクオートエンコーディングを改善し、VideoPrismがビデオモダリティに主に焦点を当てながら、ビデオに関連する貴重なテキストを活用できるようにします。私たちは、Webビデオ質問応答から科学のためのCVまで、4つの広範なビデオ理解タスクグループでVideoPrismを広範にテストし、33のビデオ理解ベンチマークのうち30で最先端のパフォーマンスを達成しました。

English

We introduce VideoPrism, a general-purpose video encoder that tackles diverse video understanding tasks with a single frozen model. We pretrain VideoPrism on a heterogeneous corpus containing 36M high-quality video-caption pairs and 582M video clips with noisy parallel text (e.g., ASR transcripts). The pretraining approach improves upon masked autoencoding by global-local distillation of semantic video embeddings and a token shuffling scheme, enabling VideoPrism to focus primarily on the video modality while leveraging the invaluable text associated with videos. We extensively test VideoPrism on four broad groups of video understanding tasks, from web video question answering to CV for science, achieving state-of-the-art performance on 30 out of 33 video understanding benchmarks.

VideoPrism: ビデオ理解のための基盤的視覚エンコーダ

VideoPrism: A Foundational Visual Encoder for Video Understanding

要旨

Support