NExT-Chat: チャット、検出、セグメンテーションのための大規模言語モデル

要旨

大規模言語モデル（LLM）の発展は、マルチモーダル理解の分野を大きく前進させ、大規模マルチモーダルモデル（LMM）の出現をもたらしました。視覚理解のレベルを向上させるため、最近の研究では、物体のバウンディングボックスの座標をテキストシーケンス（pixel2seq）として表現することで、LMMに領域レベルの理解能力を付与しています。本論文では、物体位置モデリングの新しいパラダイムであるpixel2embメソッドを提案します。この方法では、LMMに位置埋め込みを出力させ、それを異なるデコーダでデコードします。このパラダイムにより、マルチモーダル会話においてバウンディングボックスやマスクなどの異なる位置形式を使用することが可能になります。さらに、このような埋め込みベースの位置モデリングにより、検出やセグメンテーションなどのローカライゼーションタスクにおける既存の手法を活用することができます。リソースが限られたシナリオにおいて、我々のpixel2embは、公平な比較の下で、位置入力および出力タスクにおいて既存の最先端（SOTA）アプローチよりも優れた性能を示します。提案されたpixel2embメソッドを活用し、NExT-ChatというLMMをトレーニングし、視覚的グラウンディング、領域キャプション、グラウンディング推論などの複数のタスクを処理する能力を実証します。

English

The development of large language models (LLMs) has greatly advanced the field of multimodal understanding, leading to the emergence of large multimodal models (LMMs). In order to enhance the level of visual comprehension, recent studies have equipped LMMs with region-level understanding capabilities by representing object bounding box coordinates as a series of text sequences (pixel2seq). In this paper, we introduce a novel paradigm for object location modeling called pixel2emb method, where we ask the LMM to output the location embeddings and then decoded by different decoders. This paradigm allows for different location formats (such as bounding boxes and masks) to be used in multimodal conversations Furthermore, this kind of embedding based location modeling enables the utilization of existing practices in localization tasks, such as detection and segmentation. In scenarios with limited resources, our pixel2emb demonstrates superior performance compared to existing state-of-the-art (SOTA) approaches in both the location input and output tasks under fair comparison. Leveraging the proposed pixel2emb method, we train an LMM named NExT-Chat and demonstrate its capability of handling multiple tasks like visual grounding, region caption, and grounded reasoning.

NExT-Chat: チャット、検出、セグメンテーションのための大規模言語モデル

NExT-Chat: An LMM for Chat, Detection and Segmentation

要旨

Support