VideoGLUE: Avaliação de Compreensão Geral em Vídeo para Modelos de Base

VideoGLUE: Video General Understanding Evaluation of Foundation Models

July 6, 2023

Autores: Liangzhe Yuan, Nitesh Bharadwaj Gundavarapu, Long Zhao, Hao Zhou, Yin Cui, Lu Jiang, Xuan Yang, Menglin Jia, Tobias Weyand, Luke Friedman, Mikhail Sirotenko, Huisheng Wang, Florian Schroff, Hartwig Adam, Ming-Hsuan Yang, Ting Liu, Boqing Gong

cs.AI

Resumo

Avaliamos as capacidades de compreensão de vídeo dos modelos de base existentes utilizando um protocolo de experimento cuidadosamente projetado, composto por três tarefas fundamentais (reconhecimento de ação, localização temporal e localização espaço-temporal), oito conjuntos de dados amplamente reconhecidos pela comunidade e quatro métodos de adaptação que ajustam um modelo de base (FM) para uma tarefa específica. Além disso, propomos uma pontuação escalar chamada VideoGLUE (VGS) para medir a eficácia e eficiência de um FM ao se adaptar a tarefas gerais de compreensão de vídeo. Nossas principais descobertas são as seguintes. Primeiro, modelos especializados em tarefas superam significativamente os seis FMs estudados neste trabalho, em contraste marcante com o que os FMs alcançaram na compreensão de linguagem natural e de imagens. Segundo, FMs nativos de vídeo, cujos dados de pré-treinamento incluem a modalidade de vídeo, geralmente se saem melhor do que FMs nativos de imagem na classificação de vídeos ricos em movimento, na localização temporal de ações e na compreensão de vídeos com mais de uma ação. Terceiro, os FMs nativos de vídeo podem ter um bom desempenho em tarefas de vídeo com adaptações leves às tarefas subsequentes (por exemplo, congelando os backbones do FM), enquanto os FMs nativos de imagem se destacam no ajuste fino completo de ponta a ponta. As duas primeiras observações revelam a necessidade e as enormes oportunidades de pesquisa em FMs focados em vídeo, e a última confirma que tanto as tarefas quanto os métodos de adaptação são importantes na avaliação dos FMs.

English

We evaluate existing foundation models video understanding capabilities using a carefully designed experiment protocol consisting of three hallmark tasks (action recognition, temporal localization, and spatiotemporal localization), eight datasets well received by the community, and four adaptation methods tailoring a foundation model (FM) for a downstream task. Moreover, we propose a scalar VideoGLUE score (VGS) to measure an FMs efficacy and efficiency when adapting to general video understanding tasks. Our main findings are as follows. First, task-specialized models significantly outperform the six FMs studied in this work, in sharp contrast to what FMs have achieved in natural language and image understanding. Second,video-native FMs, whose pretraining data contains the video modality, are generally better than image-native FMs in classifying motion-rich videos, localizing actions in time, and understanding a video of more than one action. Third, the video-native FMs can perform well on video tasks under light adaptations to downstream tasks(e.g., freezing the FM backbones), while image-native FMs win in full end-to-end finetuning. The first two observations reveal the need and tremendous opportunities to conduct research on video-focused FMs, and the last confirms that both tasks and adaptation methods matter when it comes to the evaluation of FMs.