Groma: Lokalisierte visuelle Tokenisierung zur Verankerung multimodaler großer Sprachmodelle

Groma: Localized Visual Tokenization for Grounding Multimodal Large Language Models

April 19, 2024

papers.authors: Chuofan Ma, Yi Jiang, Jiannan Wu, Zehuan Yuan, Xiaojuan Qi

cs.AI

papers.abstract

Wir stellen Groma vor, ein Multimodales Großes Sprachmodell (MLLM) mit fundierter und feingranularer visueller Wahrnehmungsfähigkeit. Über das ganzheitliche Bildverständnis hinaus ist Groma versiert in Aufgaben auf Regionsebene wie der Regionserläuterung und visuellen Verankerung. Diese Fähigkeiten basieren auf einem lokalisierten visuellen Tokenisierungsmechanismus, bei dem ein Bildinput in interessante Regionen zerlegt und anschließend in Regionstoken codiert wird. Durch die Integration von Regionstoken in Benutzeranweisungen und Modellantworten ermöglichen wir Groma nahtlos, benutzerspezifische Regionseingaben zu verstehen und seine textuelle Ausgabe an Bilder zu verankern. Darüber hinaus kuratieren wir zur Verbesserung der verankerten Chatfähigkeit von Groma einen visuell verankerten Anweisungsdatensatz unter Verwendung der leistungsstarken GPT-4V und visuellen Anregungstechniken. Im Vergleich zu MLLMs, die auf das Sprachmodell oder externe Module zur Lokalisierung angewiesen sind, zeigt Groma durchweg überlegene Leistungen in Standard-Verweis- und Verankerungs-Benchmarks und unterstreicht die Vorteile der Einbettung von Lokalisierung in die Bild-Tokenisierung. Projektseite: https://groma-mllm.github.io/.

English

We introduce Groma, a Multimodal Large Language Model (MLLM) with grounded and fine-grained visual perception ability. Beyond holistic image understanding, Groma is adept at region-level tasks such as region captioning and visual grounding. Such capabilities are built upon a localized visual tokenization mechanism, where an image input is decomposed into regions of interest and subsequently encoded into region tokens. By integrating region tokens into user instructions and model responses, we seamlessly enable Groma to understand user-specified region inputs and ground its textual output to images. Besides, to enhance the grounded chat ability of Groma, we curate a visually grounded instruction dataset by leveraging the powerful GPT-4V and visual prompting techniques. Compared with MLLMs that rely on the language model or external module for localization, Groma consistently demonstrates superior performances in standard referring and grounding benchmarks, highlighting the advantages of embedding localization into image tokenization. Project page: https://groma-mllm.github.io/.