InternVideo2: Escalonando Modelos Fundamentais de Vídeo para Compreensão Multimodal de Vídeo

InternVideo2: Scaling Video Foundation Models for Multimodal Video Understanding

March 22, 2024

Autores: Yi Wang, Kunchang Li, Xinhao Li, Jiashuo Yu, Yinan He, Guo Chen, Baoqi Pei, Rongkun Zheng, Jilan Xu, Zun Wang, Yansong Shi, Tianxiang Jiang, Songze Li, Hongjie Zhang, Yifei Huang, Yu Qiao, Yali Wang, Limin Wang

cs.AI

Resumo

Apresentamos o InternVideo2, um novo modelo de base para vídeo (ViFM) que alcança o estado da arte em reconhecimento de ações, tarefas vídeo-texto e diálogo centrado em vídeo. Nossa abordagem emprega um paradigma de treinamento progressivo que unifica diferentes frameworks de aprendizado auto ou fracamente supervisionado, incluindo reconstrução de tokens de vídeo mascarados, aprendizado contrastivo multimodal e previsão do próximo token. Diferentes estágios de treinamento orientam nosso modelo a capturar diferentes níveis de informação estrutural e semântica por meio de diferentes tarefas pretexto. No nível dos dados, priorizamos a consistência espaço-temporal através da segmentação semântica de vídeos e da geração de legendas vídeo-áudio-fala. Isso melhora o alinhamento entre vídeo e texto. Escalonamos tanto o tamanho dos dados quanto do modelo para o nosso InternVideo2. Por meio de extensos experimentos, validamos nossos projetos e demonstramos o desempenho de ponta em mais de 60 tarefas de vídeo e áudio. Notavelmente, nosso modelo supera outros em vários benchmarks relacionados a legendagem de vídeo, diálogo e compreensão de vídeos longos, destacando sua capacidade de raciocinar e compreender contextos temporais longos. O código e os modelos estão disponíveis em https://github.com/OpenGVLab/InternVideo2/.

English

We introduce InternVideo2, a new video foundation model (ViFM) that achieves the state-of-the-art performance in action recognition, video-text tasks, and video-centric dialogue. Our approach employs a progressive training paradigm that unifies the different self- or weakly-supervised learning frameworks of masked video token reconstruction, cross-modal contrastive learning, and next token prediction. Different training stages would guide our model to capture different levels of structure and semantic information through different pretext tasks. At the data level, we prioritize the spatiotemporal consistency by semantically segmenting videos and generating video-audio-speech captions. This improves the alignment between video and text. We scale both data and model size for our InternVideo2. Through extensive experiments, we validate our designs and demonstrate the state-of-the-art performance on over 60 video and audio tasks. Notably, our model outperforms others on various video-related captioning, dialogue, and long video understanding benchmarks, highlighting its ability to reason and comprehend long temporal contexts. Code and models are available at https://github.com/OpenGVLab/InternVideo2/.