InternVideo2: Масштабирование моделей основы видео для мультимодального понимания видео

InternVideo2: Scaling Video Foundation Models for Multimodal Video Understanding

March 22, 2024

Авторы: Yi Wang, Kunchang Li, Xinhao Li, Jiashuo Yu, Yinan He, Guo Chen, Baoqi Pei, Rongkun Zheng, Jilan Xu, Zun Wang, Yansong Shi, Tianxiang Jiang, Songze Li, Hongjie Zhang, Yifei Huang, Yu Qiao, Yali Wang, Limin Wang

cs.AI

Аннотация

Мы представляем InternVideo2, новую модель основы видео (ViFM), достигающую передовых показателей в распознавании действий, задачах видео-текста и видео-центрического диалога. Наш подход использует прогрессивную парадигму обучения, объединяющую различные фреймворки обучения без учителя или слабо-учителя через маскированную реконструкцию видео-токенов, кросс-модальное контрастное обучение и предсказание следующего токена. Различные этапы обучения направляют нашу модель на захват различных уровней структуры и семантической информации через различные предварительные задачи. На уровне данных мы придаем приоритет пространственно-временной согласованности путем семантического сегментирования видео и создания подписей видео-аудио-речи. Это улучшает согласование между видео и текстом. Мы масштабируем как данные, так и размер модели для нашего InternVideo2. Через обширные эксперименты мы подтверждаем наши концепции и демонстрируем передовые результаты на более чем 60 видео- и аудио-задачах. Особенно стоит отметить, что наша модель превосходит другие на различных бенчмарках по подписям, диалогу и пониманию длинных видео, подчеркивая ее способность рассуждать и понимать длинные временные контексты. Код и модели доступны на https://github.com/OpenGVLab/InternVideo2/.

English

We introduce InternVideo2, a new video foundation model (ViFM) that achieves the state-of-the-art performance in action recognition, video-text tasks, and video-centric dialogue. Our approach employs a progressive training paradigm that unifies the different self- or weakly-supervised learning frameworks of masked video token reconstruction, cross-modal contrastive learning, and next token prediction. Different training stages would guide our model to capture different levels of structure and semantic information through different pretext tasks. At the data level, we prioritize the spatiotemporal consistency by semantically segmenting videos and generating video-audio-speech captions. This improves the alignment between video and text. We scale both data and model size for our InternVideo2. Through extensive experiments, we validate our designs and demonstrate the state-of-the-art performance on over 60 video and audio tasks. Notably, our model outperforms others on various video-related captioning, dialogue, and long video understanding benchmarks, highlighting its ability to reason and comprehend long temporal contexts. Code and models are available at https://github.com/OpenGVLab/InternVideo2/.