Kosmos-2: Fundamentando Modelos de Linguagem Multimodais de Grande Escala no Mundo

Kosmos-2: Grounding Multimodal Large Language Models to the World

June 26, 2023

Autores: Zhiliang Peng, Wenhui Wang, Li Dong, Yaru Hao, Shaohan Huang, Shuming Ma, Furu Wei

cs.AI

Resumo

Apresentamos o Kosmos-2, um Modelo de Linguagem de Grande Escala Multimodal (MLLM), que habilita novas capacidades de percepção de descrições de objetos (por exemplo, caixas delimitadoras) e ancoragem de texto ao mundo visual. Especificamente, representamos expressões referenciais como links em Markdown, ou seja, ``[texto](caixas delimitadoras)'', onde as descrições de objetos são sequências de tokens de localização. Juntamente com corpora multimodais, construímos dados em grande escala de pares imagem-texto ancorados (chamados GrIT) para treinar o modelo. Além das capacidades existentes dos MLLMs (por exemplo, percepção de modalidades gerais, seguimento de instruções e aprendizado em contexto), o Kosmos-2 integra a capacidade de ancoragem em aplicações subsequentes. Avaliamos o Kosmos-2 em uma ampla gama de tarefas, incluindo (i) ancoragem multimodal, como compreensão de expressões referenciais e ancoragem de frases, (ii) referência multimodal, como geração de expressões referenciais, (iii) tarefas de percepção-linguagem e (iv) compreensão e geração de linguagem. Este trabalho estabelece a base para o desenvolvimento da Inteligência Artificial Embarcada e lança luz sobre a grande convergência de linguagem, percepção multimodal, ação e modelagem do mundo, que é um passo crucial em direção à inteligência artificial geral. Dados, demonstrações e modelos pré-treinados estão disponíveis em https://aka.ms/kosmos-2.

English

We introduce Kosmos-2, a Multimodal Large Language Model (MLLM), enabling new capabilities of perceiving object descriptions (e.g., bounding boxes) and grounding text to the visual world. Specifically, we represent refer expressions as links in Markdown, i.e., ``[text span](bounding boxes)'', where object descriptions are sequences of location tokens. Together with multimodal corpora, we construct large-scale data of grounded image-text pairs (called GrIT) to train the model. In addition to the existing capabilities of MLLMs (e.g., perceiving general modalities, following instructions, and performing in-context learning), Kosmos-2 integrates the grounding capability into downstream applications. We evaluate Kosmos-2 on a wide range of tasks, including (i) multimodal grounding, such as referring expression comprehension, and phrase grounding, (ii) multimodal referring, such as referring expression generation, (iii) perception-language tasks, and (iv) language understanding and generation. This work lays out the foundation for the development of Embodiment AI and sheds light on the big convergence of language, multimodal perception, action, and world modeling, which is a key step toward artificial general intelligence. Data, demo, and pretrained models are available at https://aka.ms/kosmos-2.