LEGO: Мультимодальная модель семантического связывания с улучшенной языковой обработкой
LEGO:Language Enhanced Multi-modal Grounding Model
January 11, 2024
Авторы: Zhaowei Li, Qi Xu, Dong Zhang, Hang Song, Yiqing Cai, Qi Qi, Ran Zhou, Junting Pan, Zefeng Li, Van Tu Vu, Zhida Huang, Tao Wang
cs.AI
Аннотация
Мультимодальные большие языковые модели продемонстрировали впечатляющие результаты в решении различных задач, охватывающих разные модальности. Однако существующие мультимодальные модели в основном сосредоточены на захвате глобальной информации внутри каждой модальности, пренебрегая важностью восприятия локальной информации между модальностями. В результате такие модели не способны эффективно понимать детализированные аспекты входных данных, что ограничивает их производительность в задачах, требующих более тонкого понимания. Для устранения этого ограничения возникает необходимость в разработке моделей, которые обеспечивают детализированное понимание в рамках нескольких модальностей, тем самым расширяя их применимость к широкому спектру задач. В данной статье мы предлагаем LEGO — языковую модель для мультимодального заземления. В отличие от других мультимодальных моделей, которые фокусируются на глобальной информации, наша модель превосходно справляется с задачами, требующими детального понимания локальной информации в входных данных. Она демонстрирует точное определение и локализацию конкретных областей на изображениях или моментов в видео. Для достижения этой цели мы разработали разнообразный конвейер создания набора данных, что привело к созданию мультимодального набора данных с различной степенью детализации для обучения модели. Код, набор данных и демонстрация нашей модели доступны по адресу: https://github.com/lzw-lzw/LEGO.
English
Multi-modal large language models have demonstrated impressive performance
across various tasks in different modalities. However, existing multi-modal
models primarily emphasize capturing global information within each modality
while neglecting the importance of perceiving local information across
modalities. Consequently, these models lack the ability to effectively
understand the fine-grained details of input data, limiting their performance
in tasks that require a more nuanced understanding. To address this limitation,
there is a compelling need to develop models that enable fine-grained
understanding across multiple modalities, thereby enhancing their applicability
to a wide range of tasks. In this paper, we propose LEGO, a language enhanced
multi-modal grounding model. Beyond capturing global information like other
multi-modal models, our proposed model excels at tasks demanding a detailed
understanding of local information within the input. It demonstrates precise
identification and localization of specific regions in images or moments in
videos. To achieve this objective, we design a diversified dataset construction
pipeline, resulting in a multi-modal, multi-granularity dataset for model
training. The code, dataset, and demo of our model can be found at https:
//github.com/lzw-lzw/LEGO.