LEGO: Taalversterkt Multimodaal Grondingsmodel

LEGO:Language Enhanced Multi-modal Grounding Model

January 11, 2024

Auteurs: Zhaowei Li, Qi Xu, Dong Zhang, Hang Song, Yiqing Cai, Qi Qi, Ran Zhou, Junting Pan, Zefeng Li, Van Tu Vu, Zhida Huang, Tao Wang

cs.AI

Samenvatting

Multi-modale grote taalmodellen hebben indrukwekkende prestaties laten zien bij verschillende taken in verschillende modaliteiten. Bestaande multi-modale modellen leggen echter vooral de nadruk op het vastleggen van globale informatie binnen elke modaliteit, terwijl het belang van het waarnemen van lokale informatie tussen modaliteiten wordt verwaarloosd. Hierdoor ontbreekt het deze modellen aan het vermogen om de fijnmazige details van invoergegevens effectief te begrijpen, wat hun prestaties beperkt bij taken die een meer genuanceerd begrip vereisen. Om deze beperking aan te pakken, is er een dringende behoefte aan het ontwikkelen van modellen die een fijnmazig begrip over meerdere modaliteiten mogelijk maken, waardoor hun toepasbaarheid op een breed scala aan taken wordt verbeterd. In dit artikel stellen we LEGO voor, een taalversterkt multi-modale grondingsmodel. Naast het vastleggen van globale informatie, zoals andere multi-modale modellen, blinkt ons voorgestelde model uit in taken die een gedetailleerd begrip van lokale informatie binnen de invoer vereisen. Het toont een nauwkeurige identificatie en lokalisatie van specifieke regio's in afbeeldingen of momenten in video's. Om dit doel te bereiken, hebben we een gevarieerde pijplijn voor datasetconstructie ontworpen, wat resulteert in een multi-modale, multi-granulariteit dataset voor modeltraining. De code, dataset en demo van ons model zijn te vinden op https://github.com/lzw-lzw/LEGO.

English

Multi-modal large language models have demonstrated impressive performance across various tasks in different modalities. However, existing multi-modal models primarily emphasize capturing global information within each modality while neglecting the importance of perceiving local information across modalities. Consequently, these models lack the ability to effectively understand the fine-grained details of input data, limiting their performance in tasks that require a more nuanced understanding. To address this limitation, there is a compelling need to develop models that enable fine-grained understanding across multiple modalities, thereby enhancing their applicability to a wide range of tasks. In this paper, we propose LEGO, a language enhanced multi-modal grounding model. Beyond capturing global information like other multi-modal models, our proposed model excels at tasks demanding a detailed understanding of local information within the input. It demonstrates precise identification and localization of specific regions in images or moments in videos. To achieve this objective, we design a diversified dataset construction pipeline, resulting in a multi-modal, multi-granularity dataset for model training. The code, dataset, and demo of our model can be found at https: //github.com/lzw-lzw/LEGO.