VideoGLUE: Video General Understanding Evaluation von Foundation Models

VideoGLUE: Video General Understanding Evaluation of Foundation Models

July 6, 2023

Autoren: Liangzhe Yuan, Nitesh Bharadwaj Gundavarapu, Long Zhao, Hao Zhou, Yin Cui, Lu Jiang, Xuan Yang, Menglin Jia, Tobias Weyand, Luke Friedman, Mikhail Sirotenko, Huisheng Wang, Florian Schroff, Hartwig Adam, Ming-Hsuan Yang, Ting Liu, Boqing Gong

cs.AI

Zusammenfassung

Wir bewerten die Fähigkeiten bestehender Foundation-Modelle zur Videoverständnis anhand eines sorgfältig entworfenen Experimentprotokolls, das aus drei zentralen Aufgaben (Aktionserkennung, zeitliche Lokalisierung und raumzeitliche Lokalisierung), acht in der Community gut anerkannten Datensätzen und vier Anpassungsmethoden besteht, die ein Foundation-Modell (FM) für eine nachgelagerte Aufgabe optimieren. Darüber hinaus schlagen wir einen skalaren VideoGLUE-Score (VGS) vor, um die Effizienz und Effektivität eines FMs bei der Anpassung an allgemeine Videoverständnisaufgaben zu messen. Unsere wichtigsten Erkenntnisse sind wie folgt. Erstens übertreffen aufgaben-spezialisierte Modelle die sechs in dieser Arbeit untersuchten FMs deutlich, im starken Gegensatz zu dem, was FMs im Bereich des natürlichen Sprach- und Bildverständnisses erreicht haben. Zweitens sind video-native FMs, deren Vortrainingsdaten die Video-Modalität enthalten, im Allgemeinen besser als image-native FMs bei der Klassifizierung von bewegungsreichen Videos, der zeitlichen Lokalisierung von Aktionen und dem Verständnis von Videos mit mehr als einer Aktion. Drittens können video-native FMs bei leichten Anpassungen an nachgelagerte Aufgaben (z. B. Einfrieren der FM-Backbones) gut bei Videoaufgaben abschneiden, während image-native FMs bei vollständigem End-to-End-Finetuning überzeugen. Die ersten beiden Beobachtungen zeigen den Bedarf und die enormen Möglichkeiten für die Forschung an video-fokussierten FMs, und die letzte bestätigt, dass sowohl Aufgaben als auch Anpassungsmethoden bei der Bewertung von FMs eine Rolle spielen.

English

We evaluate existing foundation models video understanding capabilities using a carefully designed experiment protocol consisting of three hallmark tasks (action recognition, temporal localization, and spatiotemporal localization), eight datasets well received by the community, and four adaptation methods tailoring a foundation model (FM) for a downstream task. Moreover, we propose a scalar VideoGLUE score (VGS) to measure an FMs efficacy and efficiency when adapting to general video understanding tasks. Our main findings are as follows. First, task-specialized models significantly outperform the six FMs studied in this work, in sharp contrast to what FMs have achieved in natural language and image understanding. Second,video-native FMs, whose pretraining data contains the video modality, are generally better than image-native FMs in classifying motion-rich videos, localizing actions in time, and understanding a video of more than one action. Third, the video-native FMs can perform well on video tasks under light adaptations to downstream tasks(e.g., freezing the FM backbones), while image-native FMs win in full end-to-end finetuning. The first two observations reveal the need and tremendous opportunities to conduct research on video-focused FMs, and the last confirms that both tasks and adaptation methods matter when it comes to the evaluation of FMs.