InternVideo2: Schaalvergroting van Video Foundation Models voor Multimodaal Video Begrip

InternVideo2: Scaling Video Foundation Models for Multimodal Video Understanding

March 22, 2024

Auteurs: Yi Wang, Kunchang Li, Xinhao Li, Jiashuo Yu, Yinan He, Guo Chen, Baoqi Pei, Rongkun Zheng, Jilan Xu, Zun Wang, Yansong Shi, Tianxiang Jiang, Songze Li, Hongjie Zhang, Yifei Huang, Yu Qiao, Yali Wang, Limin Wang

cs.AI

Samenvatting

We introduceren InternVideo2, een nieuw videofundamentmodel (ViFM) dat de state-of-the-art prestaties behaalt op het gebied van actieherkenning, video-teksttaken en video-centrische dialoog. Onze aanpak maakt gebruik van een progressief trainingsparadigma dat de verschillende zelf- of zwak-gesuperviseerde leerframeworks van gemaskeerde videotokenreconstructie, cross-modale contrastieve learning en volgende tokenvoorspelling verenigt. Verschillende trainingsfasen leiden ons model om verschillende niveaus van structuur en semantische informatie vast te leggen via verschillende pretexttaken. Op dataniveau prioriteren we de spatiotemporele consistentie door video's semantisch te segmenteren en video-audio-spraakbijschriften te genereren. Dit verbetert de afstemming tussen video en tekst. We schalen zowel de data- als de modelgrootte voor onze InternVideo2. Door uitgebreide experimenten valideren we onze ontwerpen en demonstreren we de state-of-the-art prestaties op meer dan 60 video- en audiotaken. Opmerkelijk is dat ons model anderen overtreft op verschillende video-gerelateerde bijschrijvings-, dialoog- en langere videobegripbenchmarks, wat zijn vermogen benadrukt om langere temporele contexten te redeneren en te begrijpen. Code en modellen zijn beschikbaar op https://github.com/OpenGVLab/InternVideo2/.

English

We introduce InternVideo2, a new video foundation model (ViFM) that achieves the state-of-the-art performance in action recognition, video-text tasks, and video-centric dialogue. Our approach employs a progressive training paradigm that unifies the different self- or weakly-supervised learning frameworks of masked video token reconstruction, cross-modal contrastive learning, and next token prediction. Different training stages would guide our model to capture different levels of structure and semantic information through different pretext tasks. At the data level, we prioritize the spatiotemporal consistency by semantically segmenting videos and generating video-audio-speech captions. This improves the alignment between video and text. We scale both data and model size for our InternVideo2. Through extensive experiments, we validate our designs and demonstrate the state-of-the-art performance on over 60 video and audio tasks. Notably, our model outperforms others on various video-related captioning, dialogue, and long video understanding benchmarks, highlighting its ability to reason and comprehend long temporal contexts. Code and models are available at https://github.com/OpenGVLab/InternVideo2/.