LEGO : Modèle de Représentation Multimodale Amélioré par le Langage

LEGO:Language Enhanced Multi-modal Grounding Model

January 11, 2024

Auteurs: Zhaowei Li, Qi Xu, Dong Zhang, Hang Song, Yiqing Cai, Qi Qi, Ran Zhou, Junting Pan, Zefeng Li, Van Tu Vu, Zhida Huang, Tao Wang

cs.AI

Résumé

Les modèles de langage multi-modaux de grande envergure ont démontré des performances impressionnantes dans diverses tâches impliquant différentes modalités. Cependant, les modèles multi-modaux existants mettent principalement l'accent sur la capture d'informations globales au sein de chaque modalité, tout en négligeant l'importance de percevoir les informations locales à travers les modalités. Par conséquent, ces modèles manquent de la capacité à comprendre efficacement les détails fins des données d'entrée, limitant ainsi leurs performances dans les tâches nécessitant une compréhension plus nuancée. Pour remédier à cette limitation, il est impératif de développer des modèles permettant une compréhension fine à travers plusieurs modalités, améliorant ainsi leur applicabilité à un large éventail de tâches. Dans cet article, nous proposons LEGO, un modèle d'ancrage multi-modal enrichi par le langage. Au-delà de la capture d'informations globales comme les autres modèles multi-modaux, notre modèle proposé excelle dans les tâches nécessitant une compréhension détaillée des informations locales au sein des entrées. Il démontre une identification et une localisation précises de régions spécifiques dans les images ou de moments dans les vidéos. Pour atteindre cet objectif, nous concevons un pipeline de construction de données diversifié, aboutissant à un ensemble de données multi-modal et multi-granularité pour l'entraînement du modèle. Le code, l'ensemble de données et la démonstration de notre modèle sont disponibles à l'adresse suivante : https://github.com/lzw-lzw/LEGO.

English

Multi-modal large language models have demonstrated impressive performance across various tasks in different modalities. However, existing multi-modal models primarily emphasize capturing global information within each modality while neglecting the importance of perceiving local information across modalities. Consequently, these models lack the ability to effectively understand the fine-grained details of input data, limiting their performance in tasks that require a more nuanced understanding. To address this limitation, there is a compelling need to develop models that enable fine-grained understanding across multiple modalities, thereby enhancing their applicability to a wide range of tasks. In this paper, we propose LEGO, a language enhanced multi-modal grounding model. Beyond capturing global information like other multi-modal models, our proposed model excels at tasks demanding a detailed understanding of local information within the input. It demonstrates precise identification and localization of specific regions in images or moments in videos. To achieve this objective, we design a diversified dataset construction pipeline, resulting in a multi-modal, multi-granularity dataset for model training. The code, dataset, and demo of our model can be found at https: //github.com/lzw-lzw/LEGO.