VideoGLUE : Évaluation de la compréhension générale des vidéos par les modèles de base

VideoGLUE: Video General Understanding Evaluation of Foundation Models

July 6, 2023

Auteurs: Liangzhe Yuan, Nitesh Bharadwaj Gundavarapu, Long Zhao, Hao Zhou, Yin Cui, Lu Jiang, Xuan Yang, Menglin Jia, Tobias Weyand, Luke Friedman, Mikhail Sirotenko, Huisheng Wang, Florian Schroff, Hartwig Adam, Ming-Hsuan Yang, Ting Liu, Boqing Gong

cs.AI

Résumé

Nous évaluons les capacités de compréhension vidéo des modèles de fondation existants en utilisant un protocole expérimental soigneusement conçu comprenant trois tâches fondamentales (reconnaissance d'actions, localisation temporelle et localisation spatiotemporelle), huit ensembles de données largement reconnus par la communauté, et quatre méthodes d'adaptation permettant d'ajuster un modèle de fondation (FM) à une tâche en aval. De plus, nous proposons un score scalaire VideoGLUE (VGS) pour mesurer l'efficacité et l'efficience d'un FM lors de son adaptation à des tâches générales de compréhension vidéo. Nos principales conclusions sont les suivantes. Premièrement, les modèles spécialisés dans une tâche surpassent significativement les six FM étudiés dans ce travail, ce qui contraste fortement avec les performances des FM dans la compréhension du langage naturel et des images. Deuxièmement, les FM natifs vidéo, dont les données de pré-entraînement incluent la modalité vidéo, sont généralement meilleurs que les FM natifs image pour classer des vidéos riches en mouvement, localiser des actions dans le temps et comprendre une vidéo contenant plus d'une action. Troisièmement, les FM natifs vidéo peuvent bien performer sur des tâches vidéo avec des adaptations légères aux tâches en aval (par exemple, en gelant les backbones des FM), tandis que les FM natifs image l'emportent lors d'un réglage fin end-to-end complet. Les deux premières observations révèlent le besoin et les opportunités considérables de mener des recherches sur des FM axés sur la vidéo, et la dernière confirme que les tâches et les méthodes d'adaptation sont cruciales lors de l'évaluation des FM.

English

We evaluate existing foundation models video understanding capabilities using a carefully designed experiment protocol consisting of three hallmark tasks (action recognition, temporal localization, and spatiotemporal localization), eight datasets well received by the community, and four adaptation methods tailoring a foundation model (FM) for a downstream task. Moreover, we propose a scalar VideoGLUE score (VGS) to measure an FMs efficacy and efficiency when adapting to general video understanding tasks. Our main findings are as follows. First, task-specialized models significantly outperform the six FMs studied in this work, in sharp contrast to what FMs have achieved in natural language and image understanding. Second,video-native FMs, whose pretraining data contains the video modality, are generally better than image-native FMs in classifying motion-rich videos, localizing actions in time, and understanding a video of more than one action. Third, the video-native FMs can perform well on video tasks under light adaptations to downstream tasks(e.g., freezing the FM backbones), while image-native FMs win in full end-to-end finetuning. The first two observations reveal the need and tremendous opportunities to conduct research on video-focused FMs, and the last confirms that both tasks and adaptation methods matter when it comes to the evaluation of FMs.