Groma : Tokenisation visuelle localisée pour l'ancrage des modèles de langage multimodaux de grande taille

Groma: Localized Visual Tokenization for Grounding Multimodal Large Language Models

April 19, 2024

Auteurs: Chuofan Ma, Yi Jiang, Jiannan Wu, Zehuan Yuan, Xiaojuan Qi

cs.AI

Résumé

Nous présentons Groma, un modèle de langage multimodal (MLLM) doté d'une capacité de perception visuelle ancrée et fine. Au-delà de la compréhension globale d'une image, Groma excelle dans des tâches au niveau des régions, telles que la description de régions et l'ancrage visuel. Ces capacités reposent sur un mécanisme de tokenisation visuelle localisée, où une image est décomposée en régions d'intérêt puis encodée en tokens de région. En intégrant ces tokens de région dans les instructions utilisateur et les réponses du modèle, nous permettons à Groma de comprendre les entrées régionales spécifiées par l'utilisateur et d'ancrer ses sorties textuelles aux images. Par ailleurs, pour renforcer la capacité de dialogue ancré de Groma, nous avons constitué un ensemble de données d'instructions visuellement ancrées en exploitant la puissance de GPT-4V et des techniques d'invite visuelle. Comparé aux MLLM qui s'appuient sur le modèle de langage ou un module externe pour la localisation, Groma démontre systématiquement des performances supérieures dans les benchmarks standards de référencement et d'ancrage, mettant en avant les avantages de l'intégration de la localisation dans la tokenisation d'images. Page du projet : https://groma-mllm.github.io/.

English

We introduce Groma, a Multimodal Large Language Model (MLLM) with grounded and fine-grained visual perception ability. Beyond holistic image understanding, Groma is adept at region-level tasks such as region captioning and visual grounding. Such capabilities are built upon a localized visual tokenization mechanism, where an image input is decomposed into regions of interest and subsequently encoded into region tokens. By integrating region tokens into user instructions and model responses, we seamlessly enable Groma to understand user-specified region inputs and ground its textual output to images. Besides, to enhance the grounded chat ability of Groma, we curate a visually grounded instruction dataset by leveraging the powerful GPT-4V and visual prompting techniques. Compared with MLLMs that rely on the language model or external module for localization, Groma consistently demonstrates superior performances in standard referring and grounding benchmarks, highlighting the advantages of embedding localization into image tokenization. Project page: https://groma-mllm.github.io/.