InternVideo2: Escalando Modelos Fundamentales de Video para la Comprensión Multimodal de Video

InternVideo2: Scaling Video Foundation Models for Multimodal Video Understanding

March 22, 2024

Autores: Yi Wang, Kunchang Li, Xinhao Li, Jiashuo Yu, Yinan He, Guo Chen, Baoqi Pei, Rongkun Zheng, Jilan Xu, Zun Wang, Yansong Shi, Tianxiang Jiang, Songze Li, Hongjie Zhang, Yifei Huang, Yu Qiao, Yali Wang, Limin Wang

cs.AI

Resumen

Presentamos InternVideo2, un nuevo modelo fundacional de video (ViFM) que alcanza el rendimiento más avanzado en reconocimiento de acciones, tareas de video-texto y diálogo centrado en video. Nuestro enfoque emplea un paradigma de entrenamiento progresivo que unifica los diferentes marcos de aprendizaje autosupervisado o débilmente supervisado de reconstrucción de tokens de video enmascarados, aprendizaje contrastivo multimodal y predicción del siguiente token. Diferentes etapas de entrenamiento guían a nuestro modelo para capturar distintos niveles de información estructural y semántica a través de diversas tareas pretexto. A nivel de datos, priorizamos la consistencia espacio-temporal mediante la segmentación semántica de videos y la generación de subtítulos de video-audio-habla. Esto mejora la alineación entre video y texto. Escalamos tanto el tamaño de los datos como del modelo para nuestro InternVideo2. A través de extensos experimentos, validamos nuestros diseños y demostramos el rendimiento más avanzado en más de 60 tareas de video y audio. Destacablemente, nuestro modelo supera a otros en varios puntos de referencia relacionados con subtitulado de video, diálogo y comprensión de videos largos, resaltando su capacidad para razonar y comprender contextos temporales prolongados. El código y los modelos están disponibles en https://github.com/OpenGVLab/InternVideo2/.

English

We introduce InternVideo2, a new video foundation model (ViFM) that achieves the state-of-the-art performance in action recognition, video-text tasks, and video-centric dialogue. Our approach employs a progressive training paradigm that unifies the different self- or weakly-supervised learning frameworks of masked video token reconstruction, cross-modal contrastive learning, and next token prediction. Different training stages would guide our model to capture different levels of structure and semantic information through different pretext tasks. At the data level, we prioritize the spatiotemporal consistency by semantically segmenting videos and generating video-audio-speech captions. This improves the alignment between video and text. We scale both data and model size for our InternVideo2. Through extensive experiments, we validate our designs and demonstrate the state-of-the-art performance on over 60 video and audio tasks. Notably, our model outperforms others on various video-related captioning, dialogue, and long video understanding benchmarks, highlighting its ability to reason and comprehend long temporal contexts. Code and models are available at https://github.com/OpenGVLab/InternVideo2/.