Kosmos-2: マルチモーダル大規模言語モデルの世界への接地

Kosmos-2: Grounding Multimodal Large Language Models to the World

June 26, 2023

著者: Zhiliang Peng, Wenhui Wang, Li Dong, Yaru Hao, Shaohan Huang, Shuming Ma, Furu Wei

cs.AI

要旨

我々は、物体記述（例：バウンディングボックス）を認識し、テキストを視覚世界にグラウンディングする新たな能力を備えたマルチモーダル大規模言語モデル（MLLM）であるKosmos-2を紹介する。具体的には、参照表現をMarkdownのリンクとして表現し、すなわち「[テキストスパン](バウンディングボックス)」とし、物体記述を位置トークンのシーケンスとして表す。マルチモーダルコーパスと共に、グラウンディングされた画像-テキストペアの大規模データ（GrITと呼ぶ）を構築し、モデルを訓練する。既存のMLLMの能力（例：一般的なモダリティの認識、指示の追従、コンテキスト内学習の実行）に加えて、Kosmos-2はグラウンディング能力を下流アプリケーションに統合する。我々はKosmos-2を幅広いタスクで評価し、これには（i）参照表現理解やフレーズグラウンディングなどのマルチモーダルグラウンディング、（ii）参照表現生成などのマルチモーダル参照、（iii）知覚-言語タスク、（iv）言語理解と生成が含まれる。この研究は、エンボディメントAIの開発の基盤を築き、言語、マルチモーダル知覚、行動、世界モデリングの大いなる収束に光を当てるものであり、人工汎用知能に向けた重要な一歩である。データ、デモ、および事前訓練済みモデルはhttps://aka.ms/kosmos-2で利用可能である。

English

We introduce Kosmos-2, a Multimodal Large Language Model (MLLM), enabling new capabilities of perceiving object descriptions (e.g., bounding boxes) and grounding text to the visual world. Specifically, we represent refer expressions as links in Markdown, i.e., ``[text span](bounding boxes)'', where object descriptions are sequences of location tokens. Together with multimodal corpora, we construct large-scale data of grounded image-text pairs (called GrIT) to train the model. In addition to the existing capabilities of MLLMs (e.g., perceiving general modalities, following instructions, and performing in-context learning), Kosmos-2 integrates the grounding capability into downstream applications. We evaluate Kosmos-2 on a wide range of tasks, including (i) multimodal grounding, such as referring expression comprehension, and phrase grounding, (ii) multimodal referring, such as referring expression generation, (iii) perception-language tasks, and (iv) language understanding and generation. This work lays out the foundation for the development of Embodiment AI and sheds light on the big convergence of language, multimodal perception, action, and world modeling, which is a key step toward artificial general intelligence. Data, demo, and pretrained models are available at https://aka.ms/kosmos-2.