Kosmos-2: Verankerung multimodaler großer Sprachmodelle in der realen Welt

Kosmos-2: Grounding Multimodal Large Language Models to the World

June 26, 2023

Autoren: Zhiliang Peng, Wenhui Wang, Li Dong, Yaru Hao, Shaohan Huang, Shuming Ma, Furu Wei

cs.AI

Zusammenfassung

Wir stellen Kosmos-2 vor, ein Multimodales Großes Sprachmodell (MLLM), das neue Fähigkeiten zur Wahrnehmung von Objektbeschreibungen (z. B. Begrenzungsrahmen) und zur Verankerung von Text in der visuellen Welt ermöglicht. Konkret repräsentieren wir Referenzausdrücke als Links in Markdown, d. h. ``[Textspan](Begrenzungsrahmen)'', wobei Objektbeschreibungen als Sequenzen von Ortstoken dargestellt werden. Zusammen mit multimodalen Korpora erstellen wir groß angelegte Daten von verankerten Bild-Text-Paaren (genannt GrIT), um das Modell zu trainieren. Zusätzlich zu den bestehenden Fähigkeiten von MLLMs (z. B. Wahrnehmung allgemeiner Modalitäten, Befolgen von Anweisungen und Durchführung von In-Context-Lernen) integriert Kosmos-2 die Verankerungsfähigkeit in nachgelagerte Anwendungen. Wir evaluieren Kosmos-2 in einer Vielzahl von Aufgaben, darunter (i) multimodale Verankerung, wie das Verständnis von Referenzausdrücken und die Verankerung von Phrasen, (ii) multimodale Referenzierung, wie die Generierung von Referenzausdrücken, (iii) Wahrnehmungs-Sprach-Aufgaben und (iv) Sprachverständnis und -generierung. Diese Arbeit legt die Grundlage für die Entwicklung von Embodiment-KI und beleuchtet die große Konvergenz von Sprache, multimodaler Wahrnehmung, Handlung und Weltmodellierung, was ein entscheidender Schritt in Richtung künstlicher allgemeiner Intelligenz ist. Daten, Demo und vortrainierte Modelle sind unter https://aka.ms/kosmos-2 verfügbar.

English

We introduce Kosmos-2, a Multimodal Large Language Model (MLLM), enabling new capabilities of perceiving object descriptions (e.g., bounding boxes) and grounding text to the visual world. Specifically, we represent refer expressions as links in Markdown, i.e., ``[text span](bounding boxes)'', where object descriptions are sequences of location tokens. Together with multimodal corpora, we construct large-scale data of grounded image-text pairs (called GrIT) to train the model. In addition to the existing capabilities of MLLMs (e.g., perceiving general modalities, following instructions, and performing in-context learning), Kosmos-2 integrates the grounding capability into downstream applications. We evaluate Kosmos-2 on a wide range of tasks, including (i) multimodal grounding, such as referring expression comprehension, and phrase grounding, (ii) multimodal referring, such as referring expression generation, (iii) perception-language tasks, and (iv) language understanding and generation. This work lays out the foundation for the development of Embodiment AI and sheds light on the big convergence of language, multimodal perception, action, and world modeling, which is a key step toward artificial general intelligence. Data, demo, and pretrained models are available at https://aka.ms/kosmos-2.