Kosmos-2: Ancorare i Modelli Linguistici Multimodali di Grande Scala al Mondo Reale

Kosmos-2: Grounding Multimodal Large Language Models to the World

June 26, 2023

Autori: Zhiliang Peng, Wenhui Wang, Li Dong, Yaru Hao, Shaohan Huang, Shuming Ma, Furu Wei

cs.AI

Abstract

Introduciamo Kosmos-2, un Modello Linguistico Multimodale di Grande Scala (MLLM), che abilita nuove capacità di percepire descrizioni di oggetti (ad esempio, bounding box) e di ancorare il testo al mondo visivo. Nello specifico, rappresentiamo le espressioni referenziali come collegamenti in Markdown, ovvero ``[span di testo](bounding box)'', dove le descrizioni degli oggetti sono sequenze di token di posizione. Insieme a corpora multimodali, costruiamo dati su larga scala di coppie immagine-testo ancorate (denominate GrIT) per addestrare il modello. Oltre alle capacità esistenti degli MLLM (ad esempio, percepire modalità generali, seguire istruzioni ed eseguire apprendimento in contesto), Kosmos-2 integra la capacità di ancoraggio in applicazioni downstream. Valutiamo Kosmos-2 su un'ampia gamma di compiti, tra cui (i) ancoraggio multimodale, come la comprensione di espressioni referenziali e l'ancoraggio di frasi, (ii) riferimento multimodale, come la generazione di espressioni referenziali, (iii) compiti di percezione-linguaggio e (iv) comprensione e generazione del linguaggio. Questo lavoro getta le basi per lo sviluppo dell'Intelligenza Artificiale Embodied e illumina la grande convergenza di linguaggio, percezione multimodale, azione e modellazione del mondo, che rappresenta un passo cruciale verso l'intelligenza artificiale generale. Dati, demo e modelli pre-addestrati sono disponibili all'indirizzo https://aka.ms/kosmos-2.

English

We introduce Kosmos-2, a Multimodal Large Language Model (MLLM), enabling new capabilities of perceiving object descriptions (e.g., bounding boxes) and grounding text to the visual world. Specifically, we represent refer expressions as links in Markdown, i.e., ``[text span](bounding boxes)'', where object descriptions are sequences of location tokens. Together with multimodal corpora, we construct large-scale data of grounded image-text pairs (called GrIT) to train the model. In addition to the existing capabilities of MLLMs (e.g., perceiving general modalities, following instructions, and performing in-context learning), Kosmos-2 integrates the grounding capability into downstream applications. We evaluate Kosmos-2 on a wide range of tasks, including (i) multimodal grounding, such as referring expression comprehension, and phrase grounding, (ii) multimodal referring, such as referring expression generation, (iii) perception-language tasks, and (iv) language understanding and generation. This work lays out the foundation for the development of Embodiment AI and sheds light on the big convergence of language, multimodal perception, action, and world modeling, which is a key step toward artificial general intelligence. Data, demo, and pretrained models are available at https://aka.ms/kosmos-2.