VideoPrism: Базовый визуальный кодировщик для понимания видео

Аннотация

Мы представляем VideoPrism — универсальный видеокодер, который решает разнообразные задачи понимания видео с использованием одной замороженной модели. VideoPrism предварительно обучается на гетерогенном корпусе, содержащем 36 миллионов пар видео-описаний высокого качества и 582 миллиона видеоклипов с зашумленным параллельным текстом (например, транскриптами ASR). Наш подход к предварительному обучению улучшает метод маскированного автоэнкодинга за счет глобально-локального дистилляции семантических видеовложений и схемы перестановки токенов, что позволяет VideoPrism сосредоточиться в первую очередь на видеомодальности, одновременно используя ценный текст, связанный с видео. Мы тщательно тестируем VideoPrism на четырех широких группах задач понимания видео — от ответов на вопросы по веб-видео до компьютерного зрения для науки — и достигаем наилучших результатов на 30 из 33 бенчмарков для понимания видео.

English

We introduce VideoPrism, a general-purpose video encoder that tackles diverse video understanding tasks with a single frozen model. We pretrain VideoPrism on a heterogeneous corpus containing 36M high-quality video-caption pairs and 582M video clips with noisy parallel text (e.g., ASR transcripts). The pretraining approach improves upon masked autoencoding by global-local distillation of semantic video embeddings and a token shuffling scheme, enabling VideoPrism to focus primarily on the video modality while leveraging the invaluable text associated with videos. We extensively test VideoPrism on four broad groups of video understanding tasks, from web video question answering to CV for science, achieving state-of-the-art performance on 30 out of 33 video understanding benchmarks.

VideoPrism: Базовый визуальный кодировщик для понимания видео

VideoPrism: A Foundational Visual Encoder for Video Understanding

Аннотация

Support