MiniGPT4-Video: Weiterentwicklung von Multimodal LLMs für die Videoverarbeitung mit Verschränkten visuell-textuellen Tokens

MiniGPT4-Video: Advancing Multimodal LLMs for Video Understanding with Interleaved Visual-Textual Tokens

April 4, 2024

Autoren: Kirolos Ataallah, Xiaoqian Shen, Eslam Abdelrahman, Essam Sleiman, Deyao Zhu, Jian Ding, Mohamed Elhoseiny

cs.AI

Zusammenfassung

Dieses Papier stellt MiniGPT4-Video vor, ein multimodales Large Language Model (LLM), das speziell für das Verstehen von Videos entwickelt wurde. Das Modell ist in der Lage, sowohl zeitliche visuelle als auch textuelle Daten zu verarbeiten, was es befähigt, die Komplexitäten von Videos zu verstehen. Aufbauend auf dem Erfolg von MiniGPT-v2, das sich beim Übersetzen visueller Merkmale in den LLM-Raum für einzelne Bilder hervortat und beeindruckende Ergebnisse in verschiedenen Bild-Text-Benchmarks erzielte, erweitert dieses Papier die Fähigkeiten des Modells, eine Sequenz von Frames zu verarbeiten, was es ihm ermöglicht, Videos zu verstehen. MiniGPT4-Video berücksichtigt nicht nur visuelle Inhalte, sondern integriert auch textuelle Gespräche, was dem Modell ermöglicht, effektiv Anfragen zu beantworten, die sowohl visuelle als auch textuelle Komponenten beinhalten. Das vorgeschlagene Modell übertrifft bestehende State-of-the-Art-Methoden und erzielt Verbesserungen von 4,22 %, 1,13 %, 20,82 % und 13,1 % bei den MSVD-, MSRVTT-, TGIF- und TVQA-Benchmarks. Unsere Modelle und der Code sind hier öffentlich verfügbar: https://vision-cair.github.io/MiniGPT4-video/

English

This paper introduces MiniGPT4-Video, a multimodal Large Language Model (LLM) designed specifically for video understanding. The model is capable of processing both temporal visual and textual data, making it adept at understanding the complexities of videos. Building upon the success of MiniGPT-v2, which excelled in translating visual features into the LLM space for single images and achieved impressive results on various image-text benchmarks, this paper extends the model's capabilities to process a sequence of frames, enabling it to comprehend videos. MiniGPT4-video does not only consider visual content but also incorporates textual conversations, allowing the model to effectively answer queries involving both visual and text components. The proposed model outperforms existing state-of-the-art methods, registering gains of 4.22%, 1.13%, 20.82%, and 13.1% on the MSVD, MSRVTT, TGIF, and TVQA benchmarks respectively. Our models and code have been made publicly available here https://vision-cair.github.io/MiniGPT4-video/