Kosmos-2: Fundamentación de Modelos de Lenguaje Multimodales de Gran Escala en el Mundo

Kosmos-2: Grounding Multimodal Large Language Models to the World

June 26, 2023

Autores: Zhiliang Peng, Wenhui Wang, Li Dong, Yaru Hao, Shaohan Huang, Shuming Ma, Furu Wei

cs.AI

Resumen

Presentamos Kosmos-2, un Modelo de Lenguaje Grande Multimodal (MLLM, por sus siglas en inglés), que habilita nuevas capacidades para percibir descripciones de objetos (por ejemplo, cuadros delimitadores) y anclar texto al mundo visual. Específicamente, representamos expresiones referenciales como enlaces en Markdown, es decir, ``[texto](cuadros delimitadores)'', donde las descripciones de objetos son secuencias de tokens de ubicación. Junto con corpus multimodales, construimos datos a gran escala de pares imagen-texto anclados (llamados GrIT) para entrenar el modelo. Además de las capacidades existentes de los MLLM (por ejemplo, percibir modalidades generales, seguir instrucciones y realizar aprendizaje en contexto), Kosmos-2 integra la capacidad de anclaje en aplicaciones posteriores. Evaluamos Kosmos-2 en una amplia gama de tareas, incluyendo (i) anclaje multimodal, como la comprensión de expresiones referenciales y el anclaje de frases, (ii) referencia multimodal, como la generación de expresiones referenciales, (iii) tareas de percepción-lenguaje, y (iv) comprensión y generación de lenguaje. Este trabajo sienta las bases para el desarrollo de la Inteligencia Artificial Encarnada y arroja luz sobre la gran convergencia del lenguaje, la percepción multimodal, la acción y el modelado del mundo, lo cual es un paso clave hacia la inteligencia artificial general. Los datos, demostraciones y modelos preentrenados están disponibles en https://aka.ms/kosmos-2.

English

We introduce Kosmos-2, a Multimodal Large Language Model (MLLM), enabling new capabilities of perceiving object descriptions (e.g., bounding boxes) and grounding text to the visual world. Specifically, we represent refer expressions as links in Markdown, i.e., ``[text span](bounding boxes)'', where object descriptions are sequences of location tokens. Together with multimodal corpora, we construct large-scale data of grounded image-text pairs (called GrIT) to train the model. In addition to the existing capabilities of MLLMs (e.g., perceiving general modalities, following instructions, and performing in-context learning), Kosmos-2 integrates the grounding capability into downstream applications. We evaluate Kosmos-2 on a wide range of tasks, including (i) multimodal grounding, such as referring expression comprehension, and phrase grounding, (ii) multimodal referring, such as referring expression generation, (iii) perception-language tasks, and (iv) language understanding and generation. This work lays out the foundation for the development of Embodiment AI and sheds light on the big convergence of language, multimodal perception, action, and world modeling, which is a key step toward artificial general intelligence. Data, demo, and pretrained models are available at https://aka.ms/kosmos-2.