InternVideo2: Scalabilità dei Modelli Fondamentali per Video nella Comprensione Multimodale dei Video

InternVideo2: Scaling Video Foundation Models for Multimodal Video Understanding

March 22, 2024

Autori: Yi Wang, Kunchang Li, Xinhao Li, Jiashuo Yu, Yinan He, Guo Chen, Baoqi Pei, Rongkun Zheng, Jilan Xu, Zun Wang, Yansong Shi, Tianxiang Jiang, Songze Li, Hongjie Zhang, Yifei Huang, Yu Qiao, Yali Wang, Limin Wang

cs.AI

Abstract

Presentiamo InternVideo2, un nuovo modello di base per video (ViFM) che raggiunge prestazioni all'avanguardia nel riconoscimento di azioni, in compiti video-testo e nel dialogo centrato sui video. Il nostro approccio adotta un paradigma di addestramento progressivo che unifica diversi framework di apprendimento auto-supervisionato o debolmente supervisionato, tra cui la ricostruzione di token video mascherati, l'apprendimento contrastivo cross-modale e la previsione del token successivo. Le diverse fasi di addestramento guidano il nostro modello a catturare diversi livelli di informazioni strutturali e semantiche attraverso diversi compiti preliminari. A livello di dati, priorizziamo la coerenza spaziotemporale segmentando semanticamente i video e generando didascalie video-audio-parlato. Ciò migliora l'allineamento tra video e testo. Scaliamo sia la quantità di dati che le dimensioni del modello per il nostro InternVideo2. Attraverso esperimenti estesi, validiamo le nostre scelte progettuali e dimostriamo prestazioni all'avanguardia su oltre 60 compiti video e audio. In particolare, il nostro modello supera gli altri su vari benchmark relativi alla creazione di didascalie, al dialogo e alla comprensione di video lunghi, evidenziando la sua capacità di ragionare e comprendere contesti temporali estesi. Codice e modelli sono disponibili su https://github.com/OpenGVLab/InternVideo2/.

English

We introduce InternVideo2, a new video foundation model (ViFM) that achieves the state-of-the-art performance in action recognition, video-text tasks, and video-centric dialogue. Our approach employs a progressive training paradigm that unifies the different self- or weakly-supervised learning frameworks of masked video token reconstruction, cross-modal contrastive learning, and next token prediction. Different training stages would guide our model to capture different levels of structure and semantic information through different pretext tasks. At the data level, we prioritize the spatiotemporal consistency by semantically segmenting videos and generating video-audio-speech captions. This improves the alignment between video and text. We scale both data and model size for our InternVideo2. Through extensive experiments, we validate our designs and demonstrate the state-of-the-art performance on over 60 video and audio tasks. Notably, our model outperforms others on various video-related captioning, dialogue, and long video understanding benchmarks, highlighting its ability to reason and comprehend long temporal contexts. Code and models are available at https://github.com/OpenGVLab/InternVideo2/.