NExT-Chat: Ein multimodales Sprachmodell für Chat, Detektion und Segmentierung

NExT-Chat: An LMM for Chat, Detection and Segmentation

November 8, 2023

Autoren: Ao Zhang, Liming Zhao, Chen-Wei Xie, Yun Zheng, Wei Ji, Tat-Seng Chua

cs.AI

Zusammenfassung

Die Entwicklung großer Sprachmodelle (LLMs) hat das Feld des multimodalen Verständnisses erheblich vorangetrieben, was zur Entstehung großer multimodaler Modelle (LMMs) geführt hat. Um das Niveau des visuellen Verständnisses zu verbessern, haben aktuelle Studien LMMs mit Fähigkeiten zur regionsbasierten Verständnis ausgestattet, indem sie die Koordinaten von Objekt-Bounding-Boxen als eine Reihe von Textsequenzen (pixel2seq) darstellen. In diesem Artikel stellen wir ein neuartiges Paradigma für die Modellierung von Objektpositionen vor, die sogenannte pixel2emb-Methode, bei der wir das LMM dazu auffordern, Lage-Embeddings auszugeben, die dann von verschiedenen Decodern decodiert werden. Dieses Paradigma ermöglicht die Verwendung verschiedener Lageformate (wie Bounding-Boxen und Masken) in multimodalen Konversationen. Darüber hinaus ermöglicht diese Art der Embedding-basierten Lage-Modellierung die Nutzung bestehender Praktiken in Lokalisierungsaufgaben, wie Detektion und Segmentierung. In Szenarien mit begrenzten Ressourcen zeigt unser pixel2emb im Vergleich zu bestehenden State-of-the-Art (SOTA)-Ansätzen eine überlegene Leistung sowohl bei der Lageeingabe als auch bei der Lageausgabe unter fairen Vergleichsbedingungen. Durch die Nutzung der vorgeschlagenen pixel2emb-Methode trainieren wir ein LMM namens NExT-Chat und demonstrieren dessen Fähigkeit, mehrere Aufgaben wie visuelle Verankerung, Regionenbeschreibung und begründetes Schließen zu bewältigen.

English

The development of large language models (LLMs) has greatly advanced the field of multimodal understanding, leading to the emergence of large multimodal models (LMMs). In order to enhance the level of visual comprehension, recent studies have equipped LMMs with region-level understanding capabilities by representing object bounding box coordinates as a series of text sequences (pixel2seq). In this paper, we introduce a novel paradigm for object location modeling called pixel2emb method, where we ask the LMM to output the location embeddings and then decoded by different decoders. This paradigm allows for different location formats (such as bounding boxes and masks) to be used in multimodal conversations Furthermore, this kind of embedding based location modeling enables the utilization of existing practices in localization tasks, such as detection and segmentation. In scenarios with limited resources, our pixel2emb demonstrates superior performance compared to existing state-of-the-art (SOTA) approaches in both the location input and output tasks under fair comparison. Leveraging the proposed pixel2emb method, we train an LMM named NExT-Chat and demonstrate its capability of handling multiple tasks like visual grounding, region caption, and grounded reasoning.