MiniGPT4-Video: Развитие мультимодальных языковых моделей с интерлированными визуально-текстовыми токенами для понимания видео.

MiniGPT4-Video: Advancing Multimodal LLMs for Video Understanding with Interleaved Visual-Textual Tokens

April 4, 2024

Авторы: Kirolos Ataallah, Xiaoqian Shen, Eslam Abdelrahman, Essam Sleiman, Deyao Zhu, Jian Ding, Mohamed Elhoseiny

cs.AI

Аннотация

Эта статья представляет MiniGPT4-Video, мультимодельную большую языковую модель (LLM), разработанную специально для понимания видео. Модель способна обрабатывать как временные визуальные, так и текстовые данные, что делает ее способной понимать сложности видео. На основе успеха MiniGPT-v2, которая отлично справлялась с преобразованием визуальных признаков в пространство LLM для отдельных изображений и достигла впечатляющих результатов на различных бенчмарках изображений и текста, в данной статье расширяются возможности модели для обработки последовательности кадров, что позволяет ей понимать видео. MiniGPT4-Video не только учитывает визуальное содержание, но также включает текстовые диалоги, что позволяет модели эффективно отвечать на запросы, включающие как визуальные, так и текстовые компоненты. Предложенная модель превосходит существующие передовые методы, показывая улучшения на 4,22%, 1,13%, 20,82% и 13,1% на бенчмарках MSVD, MSRVTT, TGIF и TVQA соответственно. Наши модели и код были опубликованы здесь: https://vision-cair.github.io/MiniGPT4-video/

English

This paper introduces MiniGPT4-Video, a multimodal Large Language Model (LLM) designed specifically for video understanding. The model is capable of processing both temporal visual and textual data, making it adept at understanding the complexities of videos. Building upon the success of MiniGPT-v2, which excelled in translating visual features into the LLM space for single images and achieved impressive results on various image-text benchmarks, this paper extends the model's capabilities to process a sequence of frames, enabling it to comprehend videos. MiniGPT4-video does not only consider visual content but also incorporates textual conversations, allowing the model to effectively answer queries involving both visual and text components. The proposed model outperforms existing state-of-the-art methods, registering gains of 4.22%, 1.13%, 20.82%, and 13.1% on the MSVD, MSRVTT, TGIF, and TVQA benchmarks respectively. Our models and code have been made publicly available here https://vision-cair.github.io/MiniGPT4-video/