Kosmos-2 : Ancrage des grands modèles de langage multimodaux dans le monde réel

Kosmos-2: Grounding Multimodal Large Language Models to the World

June 26, 2023

Auteurs: Zhiliang Peng, Wenhui Wang, Li Dong, Yaru Hao, Shaohan Huang, Shuming Ma, Furu Wei

cs.AI

Résumé

Nous présentons Kosmos-2, un modèle de langage multimodal de grande envergure (MLLM), qui introduit de nouvelles capacités de perception des descriptions d'objets (par exemple, des boîtes englobantes) et d'ancrage du texte dans le monde visuel. Plus précisément, nous représentons les expressions référentielles sous forme de liens en Markdown, c'est-à-dire ``[texte](boîtes englobantes)'', où les descriptions d'objets sont des séquences de tokens de localisation. En combinant cela avec des corpus multimodaux, nous construisons un ensemble de données à grande échelle de paires image-texte ancrées (appelé GrIT) pour entraîner le modèle. En plus des capacités existantes des MLLM (par exemple, percevoir des modalités générales, suivre des instructions et effectuer un apprentissage en contexte), Kosmos-2 intègre la capacité d'ancrage dans des applications en aval. Nous évaluons Kosmos-2 sur une large gamme de tâches, incluant (i) l'ancrage multimodal, comme la compréhension d'expressions référentielles et l'ancrage de phrases, (ii) la référence multimodale, comme la génération d'expressions référentielles, (iii) les tâches de perception-langage, et (iv) la compréhension et la génération de langage. Ce travail pose les bases pour le développement de l'IA incarnée et éclaire la grande convergence du langage, de la perception multimodale, de l'action et de la modélisation du monde, ce qui constitue une étape clé vers l'intelligence artificielle générale. Les données, démonstrations et modèles pré-entraînés sont disponibles à l'adresse https://aka.ms/kosmos-2.

English

We introduce Kosmos-2, a Multimodal Large Language Model (MLLM), enabling new capabilities of perceiving object descriptions (e.g., bounding boxes) and grounding text to the visual world. Specifically, we represent refer expressions as links in Markdown, i.e., ``[text span](bounding boxes)'', where object descriptions are sequences of location tokens. Together with multimodal corpora, we construct large-scale data of grounded image-text pairs (called GrIT) to train the model. In addition to the existing capabilities of MLLMs (e.g., perceiving general modalities, following instructions, and performing in-context learning), Kosmos-2 integrates the grounding capability into downstream applications. We evaluate Kosmos-2 on a wide range of tasks, including (i) multimodal grounding, such as referring expression comprehension, and phrase grounding, (ii) multimodal referring, such as referring expression generation, (iii) perception-language tasks, and (iv) language understanding and generation. This work lays out the foundation for the development of Embodiment AI and sheds light on the big convergence of language, multimodal perception, action, and world modeling, which is a key step toward artificial general intelligence. Data, demo, and pretrained models are available at https://aka.ms/kosmos-2.