VideoGLUE: 파운데이션 모델을 위한 비디오 일반 이해 평가

VideoGLUE: Video General Understanding Evaluation of Foundation Models

July 6, 2023

저자: Liangzhe Yuan, Nitesh Bharadwaj Gundavarapu, Long Zhao, Hao Zhou, Yin Cui, Lu Jiang, Xuan Yang, Menglin Jia, Tobias Weyand, Luke Friedman, Mikhail Sirotenko, Huisheng Wang, Florian Schroff, Hartwig Adam, Ming-Hsuan Yang, Ting Liu, Boqing Gong

cs.AI

초록

우리는 기존 파운데이션 모델의 비디오 이해 능력을 세 가지 대표적인 과제(행동 인식, 시간적 위치 파악, 시공간적 위치 파악), 커뮤니티에서 널리 인정받은 8개의 데이터셋, 그리고 하위 작업에 맞게 파운데이션 모델(FM)을 조정하는 4가지 적응 방법으로 구성된 신중하게 설계된 실험 프로토콜을 통해 평가합니다. 또한, 일반적인 비디오 이해 작업에 적응할 때 FM의 효율성과 효과를 측정하기 위한 스칼라 VideoGLUE 점수(VGS)를 제안합니다. 우리의 주요 발견은 다음과 같습니다. 첫째, 작업 전문화 모델은 본 연구에서 조사된 6개의 FM을 크게 능가하며, 이는 FM이 자연어 및 이미지 이해에서 달성한 것과는 대조적입니다. 둘째, 비디오 모달리티를 포함한 사전 학습 데이터를 가진 비디오 네이티브 FM은 모션이 풍부한 비디오 분류, 시간 내 행동 위치 파악, 그리고 하나 이상의 행동을 포함한 비디오 이해에서 일반적으로 이미지 네이티브 FM보다 우수합니다. 셋째, 비디오 네이티브 FM은 하위 작업에 대한 경량 적응(예: FM 백본 고정) 하에서 비디오 작업에서 잘 수행할 수 있는 반면, 이미지 네이티브 FM은 완전한 종단 간 미세 조정에서 우수합니다. 처음 두 관찰은 비디오 중심 FM에 대한 연구의 필요성과 엄청난 기회를 보여주며, 마지막 관찰은 FM 평가 시 작업과 적응 방법이 모두 중요함을 확인시켜 줍니다.

English

We evaluate existing foundation models video understanding capabilities using a carefully designed experiment protocol consisting of three hallmark tasks (action recognition, temporal localization, and spatiotemporal localization), eight datasets well received by the community, and four adaptation methods tailoring a foundation model (FM) for a downstream task. Moreover, we propose a scalar VideoGLUE score (VGS) to measure an FMs efficacy and efficiency when adapting to general video understanding tasks. Our main findings are as follows. First, task-specialized models significantly outperform the six FMs studied in this work, in sharp contrast to what FMs have achieved in natural language and image understanding. Second,video-native FMs, whose pretraining data contains the video modality, are generally better than image-native FMs in classifying motion-rich videos, localizing actions in time, and understanding a video of more than one action. Third, the video-native FMs can perform well on video tasks under light adaptations to downstream tasks(e.g., freezing the FM backbones), while image-native FMs win in full end-to-end finetuning. The first two observations reveal the need and tremendous opportunities to conduct research on video-focused FMs, and the last confirms that both tasks and adaptation methods matter when it comes to the evaluation of FMs.