MiniGPT4-Video: Avanzamento dei Modelli Linguistici Multimodali per la Comprensione Video con Token Visivo-Testuali Intervallati
MiniGPT4-Video: Advancing Multimodal LLMs for Video Understanding with Interleaved Visual-Textual Tokens
April 4, 2024
Autori: Kirolos Ataallah, Xiaoqian Shen, Eslam Abdelrahman, Essam Sleiman, Deyao Zhu, Jian Ding, Mohamed Elhoseiny
cs.AI
Abstract
Questo articolo introduce MiniGPT4-Video, un modello di linguaggio su larga scala (LLM) multimodale progettato specificamente per la comprensione dei video. Il modello è in grado di elaborare sia dati visivi temporali che testuali, rendendolo particolarmente abile nel comprendere le complessità dei video. Basandosi sul successo di MiniGPT-v2, che eccelleva nel tradurre le caratteristiche visive nello spazio LLM per singole immagini e otteneva risultati impressionanti su vari benchmark immagine-testo, questo articolo estende le capacità del modello per elaborare una sequenza di fotogrammi, consentendogli di comprendere i video. MiniGPT4-video non considera solo il contenuto visivo, ma incorpora anche conversazioni testuali, permettendo al modello di rispondere efficacemente a query che coinvolgono sia componenti visive che testuali. Il modello proposto supera i metodi esistenti all'avanguardia, registrando miglioramenti del 4,22%, 1,13%, 20,82% e 13,1% rispettivamente sui benchmark MSVD, MSRVTT, TGIF e TVQA. I nostri modelli e il codice sono stati resi pubblicamente disponibili qui https://vision-cair.github.io/MiniGPT4-video/
English
This paper introduces MiniGPT4-Video, a multimodal Large Language Model (LLM)
designed specifically for video understanding. The model is capable of
processing both temporal visual and textual data, making it adept at
understanding the complexities of videos. Building upon the success of
MiniGPT-v2, which excelled in translating visual features into the LLM space
for single images and achieved impressive results on various image-text
benchmarks, this paper extends the model's capabilities to process a sequence
of frames, enabling it to comprehend videos. MiniGPT4-video does not only
consider visual content but also incorporates textual conversations, allowing
the model to effectively answer queries involving both visual and text
components. The proposed model outperforms existing state-of-the-art methods,
registering gains of 4.22%, 1.13%, 20.82%, and 13.1% on the MSVD, MSRVTT, TGIF,
and TVQA benchmarks respectively. Our models and code have been made publicly
available here https://vision-cair.github.io/MiniGPT4-video/