LEGO: 言語強化型マルチモーダルグラウンディングモデル

要旨

マルチモーダル大規模言語モデルは、様々なモダリティにおける多岐にわたるタスクで印象的な性能を発揮してきました。しかし、既存のマルチモーダルモデルは主に各モダリティ内のグローバル情報の捕捉に重点を置いており、モダリティ間のローカル情報の知覚の重要性を軽視しています。その結果、これらのモデルは入力データの細部を効果的に理解する能力に欠けており、より微妙な理解を必要とするタスクでの性能が制限されています。この制限に対処するため、複数のモダリティにわたる細粒度の理解を可能にするモデルの開発が強く求められています。これにより、幅広いタスクへの適用性が向上します。本論文では、言語を強化したマルチモーダルグラウンディングモデルであるLEGOを提案します。他のマルチモーダルモデルと同様にグローバル情報を捕捉するだけでなく、提案モデルは入力内のローカル情報の詳細な理解を要求するタスクに優れています。画像内の特定の領域やビデオ内の特定の瞬間を正確に識別し、位置特定することができます。この目的を達成するために、多様なデータセット構築パイプラインを設計し、モデルトレーニング用のマルチモーダルでマルチグラニュラリティのデータセットを作成しました。モデルのコード、データセット、デモはhttps://github.com/lzw-lzw/LEGOで公開しています。

English

Multi-modal large language models have demonstrated impressive performance across various tasks in different modalities. However, existing multi-modal models primarily emphasize capturing global information within each modality while neglecting the importance of perceiving local information across modalities. Consequently, these models lack the ability to effectively understand the fine-grained details of input data, limiting their performance in tasks that require a more nuanced understanding. To address this limitation, there is a compelling need to develop models that enable fine-grained understanding across multiple modalities, thereby enhancing their applicability to a wide range of tasks. In this paper, we propose LEGO, a language enhanced multi-modal grounding model. Beyond capturing global information like other multi-modal models, our proposed model excels at tasks demanding a detailed understanding of local information within the input. It demonstrates precise identification and localization of specific regions in images or moments in videos. To achieve this objective, we design a diversified dataset construction pipeline, resulting in a multi-modal, multi-granularity dataset for model training. The code, dataset, and demo of our model can be found at https: //github.com/lzw-lzw/LEGO.

LEGO: 言語強化型マルチモーダルグラウンディングモデル

LEGO:Language Enhanced Multi-modal Grounding Model

要旨

Support