Groma: Tokenización Visual Localizada para la Fundamentación de Modelos de Lenguaje Multimodales a Gran Escala

Groma: Localized Visual Tokenization for Grounding Multimodal Large Language Models

April 19, 2024

Autores: Chuofan Ma, Yi Jiang, Jiannan Wu, Zehuan Yuan, Xiaojuan Qi

cs.AI

Resumen

Presentamos Groma, un Modelo de Lenguaje Multimodal de Gran Escala (MLLM, por sus siglas en inglés) con capacidad de percepción visual fundamentada y de gran detalle. Más allá de la comprensión holística de imágenes, Groma destaca en tareas a nivel de región, como la descripción de regiones y la fundamentación visual. Estas capacidades se basan en un mecanismo de tokenización visual localizada, donde una imagen de entrada se descompone en regiones de interés y posteriormente se codifica en tokens de región. Al integrar tokens de región en las instrucciones del usuario y las respuestas del modelo, permitimos que Groma comprenda las entradas de región especificadas por el usuario y fundamente su salida textual en las imágenes. Además, para mejorar la capacidad de chat fundamentado de Groma, hemos creado un conjunto de datos de instrucciones visualmente fundamentadas aprovechando el potente GPT-4V y técnicas de indicación visual. En comparación con los MLLM que dependen del modelo de lenguaje o de un módulo externo para la localización, Groma demuestra consistentemente un rendimiento superior en puntos de referencia estándar de referencia y fundamentación, destacando las ventajas de integrar la localización en la tokenización de imágenes. Página del proyecto: https://groma-mllm.github.io/.

English

We introduce Groma, a Multimodal Large Language Model (MLLM) with grounded and fine-grained visual perception ability. Beyond holistic image understanding, Groma is adept at region-level tasks such as region captioning and visual grounding. Such capabilities are built upon a localized visual tokenization mechanism, where an image input is decomposed into regions of interest and subsequently encoded into region tokens. By integrating region tokens into user instructions and model responses, we seamlessly enable Groma to understand user-specified region inputs and ground its textual output to images. Besides, to enhance the grounded chat ability of Groma, we curate a visually grounded instruction dataset by leveraging the powerful GPT-4V and visual prompting techniques. Compared with MLLMs that rely on the language model or external module for localization, Groma consistently demonstrates superior performances in standard referring and grounding benchmarks, highlighting the advantages of embedding localization into image tokenization. Project page: https://groma-mllm.github.io/.