VideoGLUE: Evaluación de Comprensión General de Video para Modelos Fundacionales

VideoGLUE: Video General Understanding Evaluation of Foundation Models

July 6, 2023

Autores: Liangzhe Yuan, Nitesh Bharadwaj Gundavarapu, Long Zhao, Hao Zhou, Yin Cui, Lu Jiang, Xuan Yang, Menglin Jia, Tobias Weyand, Luke Friedman, Mikhail Sirotenko, Huisheng Wang, Florian Schroff, Hartwig Adam, Ming-Hsuan Yang, Ting Liu, Boqing Gong

cs.AI

Resumen

Evaluamos las capacidades de comprensión de video de los modelos fundacionales existentes utilizando un protocolo de experimento cuidadosamente diseñado que consta de tres tareas fundamentales (reconocimiento de acciones, localización temporal y localización espacio-temporal), ocho conjuntos de datos bien recibidos por la comunidad y cuatro métodos de adaptación que ajustan un modelo fundacional (FM) para una tarea específica. Además, proponemos una puntuación escalar llamada VideoGLUE (VGS) para medir la eficacia y eficiencia de un FM al adaptarse a tareas generales de comprensión de video. Nuestros principales hallazgos son los siguientes. En primer lugar, los modelos especializados en tareas superan significativamente a los seis FMs estudiados en este trabajo, en marcado contraste con lo que los FMs han logrado en la comprensión del lenguaje natural y de imágenes. En segundo lugar, los FMs nativos de video, cuyos datos de preentrenamiento incluyen la modalidad de video, generalmente superan a los FMs nativos de imagen en la clasificación de videos ricos en movimiento, la localización de acciones en el tiempo y la comprensión de videos con más de una acción. En tercer lugar, los FMs nativos de video pueden desempeñarse bien en tareas de video con adaptaciones ligeras a las tareas específicas (por ejemplo, congelando los backbones del FM), mientras que los FMs nativos de imagen destacan en el ajuste fino completo de extremo a extremo. Las dos primeras observaciones revelan la necesidad y las enormes oportunidades de investigar FMs centrados en video, y la última confirma que tanto las tareas como los métodos de adaptación son importantes a la hora de evaluar los FMs.

English

We evaluate existing foundation models video understanding capabilities using a carefully designed experiment protocol consisting of three hallmark tasks (action recognition, temporal localization, and spatiotemporal localization), eight datasets well received by the community, and four adaptation methods tailoring a foundation model (FM) for a downstream task. Moreover, we propose a scalar VideoGLUE score (VGS) to measure an FMs efficacy and efficiency when adapting to general video understanding tasks. Our main findings are as follows. First, task-specialized models significantly outperform the six FMs studied in this work, in sharp contrast to what FMs have achieved in natural language and image understanding. Second,video-native FMs, whose pretraining data contains the video modality, are generally better than image-native FMs in classifying motion-rich videos, localizing actions in time, and understanding a video of more than one action. Third, the video-native FMs can perform well on video tasks under light adaptations to downstream tasks(e.g., freezing the FM backbones), while image-native FMs win in full end-to-end finetuning. The first two observations reveal the need and tremendous opportunities to conduct research on video-focused FMs, and the last confirms that both tasks and adaptation methods matter when it comes to the evaluation of FMs.