Groma: Tokenizzazione Visiva Localizzata per il Radicamento di Modelli Linguistici Multimodali di Grande Scala

Groma: Localized Visual Tokenization for Grounding Multimodal Large Language Models

April 19, 2024

Autori: Chuofan Ma, Yi Jiang, Jiannan Wu, Zehuan Yuan, Xiaojuan Qi

cs.AI

Abstract

Presentiamo Groma, un Modello Linguistico Multimodale di Grandi Dimensioni (MLLM) dotato di capacità di percezione visiva radicata e fine. Oltre alla comprensione olistica delle immagini, Groma è abile in compiti a livello di regione come la descrizione di aree specifiche e il grounding visivo. Tali capacità sono costruite su un meccanismo di tokenizzazione visiva localizzata, in cui un'immagine in input viene scomposta in regioni di interesse e successivamente codificata in token di regione. Integrando i token di regione nelle istruzioni dell'utente e nelle risposte del modello, abilitiamo Groma a comprendere gli input di regione specificati dall'utente e a radicare il proprio output testuale nelle immagini. Inoltre, per potenziare la capacità di chat radicata di Groma, abbiamo curato un dataset di istruzioni visivamente radicate sfruttando il potente GPT-4V e tecniche di prompting visivo. Rispetto agli MLLM che si affidano al modello linguistico o a moduli esterni per la localizzazione, Groma dimostra costantemente prestazioni superiori nei benchmark standard di riferimento e grounding, evidenziando i vantaggi dell'integrazione della localizzazione nella tokenizzazione delle immagini. Pagina del progetto: https://groma-mllm.github.io/.

English

We introduce Groma, a Multimodal Large Language Model (MLLM) with grounded and fine-grained visual perception ability. Beyond holistic image understanding, Groma is adept at region-level tasks such as region captioning and visual grounding. Such capabilities are built upon a localized visual tokenization mechanism, where an image input is decomposed into regions of interest and subsequently encoded into region tokens. By integrating region tokens into user instructions and model responses, we seamlessly enable Groma to understand user-specified region inputs and ground its textual output to images. Besides, to enhance the grounded chat ability of Groma, we curate a visually grounded instruction dataset by leveraging the powerful GPT-4V and visual prompting techniques. Compared with MLLMs that rely on the language model or external module for localization, Groma consistently demonstrates superior performances in standard referring and grounding benchmarks, highlighting the advantages of embedding localization into image tokenization. Project page: https://groma-mllm.github.io/.