NExT-Chat: Многофункциональная языковая модель для чата, детекции и сегментации

NExT-Chat: An LMM for Chat, Detection and Segmentation

November 8, 2023

Авторы: Ao Zhang, Liming Zhao, Chen-Wei Xie, Yun Zheng, Wei Ji, Tat-Seng Chua

cs.AI

Аннотация

Разработка крупных языковых моделей (LLM) значительно продвинула область мультимодального понимания, что привело к появлению крупных мультимодальных моделей (LMM). Для повышения уровня визуального восприятия в последних исследованиях LMM были оснащены возможностями понимания на уровне регионов путем представления координат ограничивающих рамок объектов в виде последовательностей текстовых данных (pixel2seq). В данной работе мы представляем новую парадигму моделирования локализации объектов под названием метод pixel2emb, в котором мы предлагаем LMM выводить эмбеддинги локаций, которые затем декодируются различными декодерами. Эта парадигма позволяет использовать различные форматы локаций (такие как ограничивающие рамки и маски) в мультимодальных диалогах. Более того, такой подход к моделированию локаций на основе эмбеддингов позволяет применять существующие практики в задачах локализации, таких как детекция и сегментация. В условиях ограниченных ресурсов наш метод pixel2emb демонстрирует превосходную производительность по сравнению с современными подходами (SOTA) как в задачах ввода, так и вывода локаций при честном сравнении. Используя предложенный метод pixel2emb, мы обучаем LMM под названием NExT-Chat и демонстрируем её способность справляться с множеством задач, таких как визуальное заземление, описание регионов и обоснованное рассуждение.

English

The development of large language models (LLMs) has greatly advanced the field of multimodal understanding, leading to the emergence of large multimodal models (LMMs). In order to enhance the level of visual comprehension, recent studies have equipped LMMs with region-level understanding capabilities by representing object bounding box coordinates as a series of text sequences (pixel2seq). In this paper, we introduce a novel paradigm for object location modeling called pixel2emb method, where we ask the LMM to output the location embeddings and then decoded by different decoders. This paradigm allows for different location formats (such as bounding boxes and masks) to be used in multimodal conversations Furthermore, this kind of embedding based location modeling enables the utilization of existing practices in localization tasks, such as detection and segmentation. In scenarios with limited resources, our pixel2emb demonstrates superior performance compared to existing state-of-the-art (SOTA) approaches in both the location input and output tasks under fair comparison. Leveraging the proposed pixel2emb method, we train an LMM named NExT-Chat and demonstrate its capability of handling multiple tasks like visual grounding, region caption, and grounded reasoning.