InternVideo2: Skalierung von Video-Grundlagenmodellen für multimodales Videoverständnis

InternVideo2: Scaling Video Foundation Models for Multimodal Video Understanding

March 22, 2024

Autoren: Yi Wang, Kunchang Li, Xinhao Li, Jiashuo Yu, Yinan He, Guo Chen, Baoqi Pei, Rongkun Zheng, Jilan Xu, Zun Wang, Yansong Shi, Tianxiang Jiang, Songze Li, Hongjie Zhang, Yifei Huang, Yu Qiao, Yali Wang, Limin Wang

cs.AI

Zusammenfassung

Wir stellen InternVideo2 vor, ein neues Video-Grundmodell (ViFM), das Spitzenleistungen bei der Aktionserkennung, Video-Text-Aufgaben und videozentrierten Dialogen erzielt. Unser Ansatz verwendet ein progressives Schulungsparadigma, das die verschiedenen selbst- oder schwach überwachten Lernrahmen des maskierten Video-Token-Rekonstruktions-, kreuzmodalen kontrastiven Lernens und der nächsten Token-Vorhersage vereint. Unterschiedliche Schulungsphasen würden unser Modell anleiten, verschiedene Ebenen der Struktur und semantischen Informationen durch unterschiedliche Vorwandaufgaben zu erfassen. Auf der Datenebene priorisieren wir die räumlich-zeitliche Konsistenz, indem wir Videos semantisch segmentieren und Video-Audio-Sprachunterschriften generieren. Dies verbessert die Ausrichtung zwischen Video und Text. Wir skalieren sowohl Daten als auch Modellgröße für unser InternVideo2. Durch umfangreiche Experimente validieren wir unsere Entwürfe und zeigen Spitzenleistungen bei über 60 Video- und Audioaufgaben auf. Bemerkenswert ist, dass unser Modell andere in verschiedenen video-bezogenen Untertitelungs-, Dialog- und langen Videoverständnis-Benchmarks übertrifft und damit seine Fähigkeit betont, lange zeitliche Kontexte zu erfassen und zu verstehen. Code und Modelle sind verfügbar unter https://github.com/OpenGVLab/InternVideo2/.

English

We introduce InternVideo2, a new video foundation model (ViFM) that achieves the state-of-the-art performance in action recognition, video-text tasks, and video-centric dialogue. Our approach employs a progressive training paradigm that unifies the different self- or weakly-supervised learning frameworks of masked video token reconstruction, cross-modal contrastive learning, and next token prediction. Different training stages would guide our model to capture different levels of structure and semantic information through different pretext tasks. At the data level, we prioritize the spatiotemporal consistency by semantically segmenting videos and generating video-audio-speech captions. This improves the alignment between video and text. We scale both data and model size for our InternVideo2. Through extensive experiments, we validate our designs and demonstrate the state-of-the-art performance on over 60 video and audio tasks. Notably, our model outperforms others on various video-related captioning, dialogue, and long video understanding benchmarks, highlighting its ability to reason and comprehend long temporal contexts. Code and models are available at https://github.com/OpenGVLab/InternVideo2/.