MiniGPT4-Video : Faire progresser les LLM multimodaux pour la compréhension vidéo grâce à des tokens visuels-textuels entrelacés

MiniGPT4-Video: Advancing Multimodal LLMs for Video Understanding with Interleaved Visual-Textual Tokens

April 4, 2024

Auteurs: Kirolos Ataallah, Xiaoqian Shen, Eslam Abdelrahman, Essam Sleiman, Deyao Zhu, Jian Ding, Mohamed Elhoseiny

cs.AI

Résumé

Cet article présente MiniGPT4-Video, un modèle de langage multimodal (LLM) conçu spécifiquement pour la compréhension vidéo. Le modèle est capable de traiter à la fois des données visuelles temporelles et textuelles, ce qui le rend apte à comprendre les complexités des vidéos. S'appuyant sur le succès de MiniGPT-v2, qui excellait dans la traduction des caractéristiques visuelles dans l'espace LLM pour des images uniques et obtenait des résultats impressionnants sur divers benchmarks image-texte, cet article étend les capacités du modèle pour traiter une séquence d'images, lui permettant ainsi de comprendre les vidéos. MiniGPT4-video ne se contente pas de prendre en compte le contenu visuel, mais intègre également des conversations textuelles, permettant au modèle de répondre efficacement à des requêtes impliquant à la fois des composants visuels et textuels. Le modèle proposé surpasse les méthodes existantes de pointe, enregistrant des gains de 4,22 %, 1,13 %, 20,82 % et 13,1 % sur les benchmarks MSVD, MSRVTT, TGIF et TVQA respectivement. Nos modèles et notre code ont été rendus publics ici https://vision-cair.github.io/MiniGPT4-video/.

English

This paper introduces MiniGPT4-Video, a multimodal Large Language Model (LLM) designed specifically for video understanding. The model is capable of processing both temporal visual and textual data, making it adept at understanding the complexities of videos. Building upon the success of MiniGPT-v2, which excelled in translating visual features into the LLM space for single images and achieved impressive results on various image-text benchmarks, this paper extends the model's capabilities to process a sequence of frames, enabling it to comprehend videos. MiniGPT4-video does not only consider visual content but also incorporates textual conversations, allowing the model to effectively answer queries involving both visual and text components. The proposed model outperforms existing state-of-the-art methods, registering gains of 4.22%, 1.13%, 20.82%, and 13.1% on the MSVD, MSRVTT, TGIF, and TVQA benchmarks respectively. Our models and code have been made publicly available here https://vision-cair.github.io/MiniGPT4-video/