VideoPrism: Een Fundamentele Visuele Encoder voor Videobegrip

Samenvatting

We introduceren VideoPrism, een universele video-encoder die diverse videobegriptaken aanpakt met een enkel bevroren model. We pretrainen VideoPrism op een heterogene corpus die 36 miljoen hoogwaardige video-onderschriftparen en 582 miljoen videoclips met ruwe parallelle tekst (bijv. ASR-transcripten) bevat. De pretrainingsaanpak verbetert gemaskeerde auto-encodering door globale-lokale distillatie van semantische video-embeddings en een token-shuffeling-schema, waardoor VideoPrism zich voornamelijk kan richten op de videomodaliteit terwijl het de onschatbare tekst die aan video's is gekoppeld benut. We testen VideoPrism uitgebreid op vier brede groepen videobegriptaken, van webvideo-vraagbeantwoording tot CV voor wetenschap, en behalen state-of-the-art prestaties op 30 van de 33 videobegripbenchmarks.

English

We introduce VideoPrism, a general-purpose video encoder that tackles diverse video understanding tasks with a single frozen model. We pretrain VideoPrism on a heterogeneous corpus containing 36M high-quality video-caption pairs and 582M video clips with noisy parallel text (e.g., ASR transcripts). The pretraining approach improves upon masked autoencoding by global-local distillation of semantic video embeddings and a token shuffling scheme, enabling VideoPrism to focus primarily on the video modality while leveraging the invaluable text associated with videos. We extensively test VideoPrism on four broad groups of video understanding tasks, from web video question answering to CV for science, achieving state-of-the-art performance on 30 out of 33 video understanding benchmarks.

VideoPrism: Een Fundamentele Visuele Encoder voor Videobegrip

VideoPrism: A Foundational Visual Encoder for Video Understanding

Samenvatting

Support