VideoGLUE: Valutazione della Comprensione Generale di Video per Modelli di Base

VideoGLUE: Video General Understanding Evaluation of Foundation Models

July 6, 2023

Autori: Liangzhe Yuan, Nitesh Bharadwaj Gundavarapu, Long Zhao, Hao Zhou, Yin Cui, Lu Jiang, Xuan Yang, Menglin Jia, Tobias Weyand, Luke Friedman, Mikhail Sirotenko, Huisheng Wang, Florian Schroff, Hartwig Adam, Ming-Hsuan Yang, Ting Liu, Boqing Gong

cs.AI

Abstract

Valutiamo le capacità di comprensione video dei modelli di base esistenti utilizzando un protocollo sperimentale accuratamente progettato, composto da tre task fondamentali (riconoscimento delle azioni, localizzazione temporale e localizzazione spaziotemporale), otto dataset ampiamente riconosciuti dalla comunità e quattro metodi di adattamento per personalizzare un modello di base (FM) per un task specifico. Inoltre, proponiamo un punteggio scalare VideoGLUE (VGS) per misurare l'efficacia e l'efficienza di un FM quando si adatta a task generali di comprensione video. Le nostre principali osservazioni sono le seguenti. In primo luogo, i modelli specializzati per task specifici superano significativamente i sei FM studiati in questo lavoro, in netto contrasto con quanto gli FM hanno ottenuto nella comprensione del linguaggio naturale e delle immagini. In secondo luogo, gli FM nativi per il video, il cui dato di pre-addestramento include la modalità video, sono generalmente migliori degli FM nativi per le immagini nel classificare video ricchi di movimento, localizzare azioni nel tempo e comprendere video con più di un'azione. In terzo luogo, gli FM nativi per il video possono ottenere buoni risultati su task video con adattamenti leggeri ai task downstream (ad esempio, congelando i backbone degli FM), mentre gli FM nativi per le immagini vincono nel fine-tuning end-to-end completo. Le prime due osservazioni rivelano la necessità e le enormi opportunità di condurre ricerche su FM focalizzati sul video, mentre l'ultima conferma che sia i task che i metodi di adattamento sono rilevanti quando si tratta di valutare gli FM.

English

We evaluate existing foundation models video understanding capabilities using a carefully designed experiment protocol consisting of three hallmark tasks (action recognition, temporal localization, and spatiotemporal localization), eight datasets well received by the community, and four adaptation methods tailoring a foundation model (FM) for a downstream task. Moreover, we propose a scalar VideoGLUE score (VGS) to measure an FMs efficacy and efficiency when adapting to general video understanding tasks. Our main findings are as follows. First, task-specialized models significantly outperform the six FMs studied in this work, in sharp contrast to what FMs have achieved in natural language and image understanding. Second,video-native FMs, whose pretraining data contains the video modality, are generally better than image-native FMs in classifying motion-rich videos, localizing actions in time, and understanding a video of more than one action. Third, the video-native FMs can perform well on video tasks under light adaptations to downstream tasks(e.g., freezing the FM backbones), while image-native FMs win in full end-to-end finetuning. The first two observations reveal the need and tremendous opportunities to conduct research on video-focused FMs, and the last confirms that both tasks and adaptation methods matter when it comes to the evaluation of FMs.