Грома: Локализованная визуальная токенизация для привязки мультимодальных крупных языковых моделей.

Groma: Localized Visual Tokenization for Grounding Multimodal Large Language Models

April 19, 2024

Авторы: Chuofan Ma, Yi Jiang, Jiannan Wu, Zehuan Yuan, Xiaojuan Qi

cs.AI

Аннотация

Мы представляем Groma, Мультимодельную Большую Языковую Модель (MLLM) с обоснованной и детализированной способностью к визуальному восприятию. Помимо голистического понимания изображений, Groma умело выполняет задачи на уровне регионов, такие как описание регионов и визуальное привязывание. Такие возможности основаны на механизме локализованной визуальной токенизации, где входное изображение разбивается на области интереса и последующим образом кодируется в региональные токены. Интегрируя региональные токены в инструкции пользователя и ответы модели, мы плавно позволяем Groma понимать указанные пользователем региональные входы и привязывать свой текстовый вывод к изображениям. Кроме того, для улучшения способности Groma к обоснованному чату, мы составляем набор данных с визуально обоснованными инструкциями, используя мощные техники GPT-4V и визуальные подсказки. По сравнению с MLLM, которые полагаются на языковую модель или внешний модуль для локализации, Groma последовательно демонстрирует превосходные результаты в стандартных бенчмарках по ссылочной и привязывающей задачам, подчеркивая преимущества внедрения локализации в токенизацию изображений. Страница проекта: https://groma-mllm.github.io/.

English

We introduce Groma, a Multimodal Large Language Model (MLLM) with grounded and fine-grained visual perception ability. Beyond holistic image understanding, Groma is adept at region-level tasks such as region captioning and visual grounding. Such capabilities are built upon a localized visual tokenization mechanism, where an image input is decomposed into regions of interest and subsequently encoded into region tokens. By integrating region tokens into user instructions and model responses, we seamlessly enable Groma to understand user-specified region inputs and ground its textual output to images. Besides, to enhance the grounded chat ability of Groma, we curate a visually grounded instruction dataset by leveraging the powerful GPT-4V and visual prompting techniques. Compared with MLLMs that rely on the language model or external module for localization, Groma consistently demonstrates superior performances in standard referring and grounding benchmarks, highlighting the advantages of embedding localization into image tokenization. Project page: https://groma-mllm.github.io/.