Kosmos-2: Привязка мультимодальных больших языковых моделей к реальному миру

Kosmos-2: Grounding Multimodal Large Language Models to the World

June 26, 2023

Авторы: Zhiliang Peng, Wenhui Wang, Li Dong, Yaru Hao, Shaohan Huang, Shuming Ma, Furu Wei

cs.AI

Аннотация

Мы представляем Kosmos-2, мультимодальную большую языковую модель (MLLM), которая открывает новые возможности для восприятия описаний объектов (например, ограничивающих рамок) и привязки текста к визуальному миру. В частности, мы представляем референциальные выражения в виде ссылок в Markdown, т.е. ``[текстовый фрагмент](ограничивающие рамки)'', где описания объектов представляют собой последовательности токенов местоположения. Вместе с мультимодальными корпусами мы создаем масштабные данные привязанных пар изображение-текст (называемые GrIT) для обучения модели. В дополнение к существующим возможностям MLLM (например, восприятие общих модальностей, следование инструкциям и выполнение обучения в контексте), Kosmos-2 интегрирует способность привязки в приложения для последующей обработки. Мы оцениваем Kosmos-2 на широком спектре задач, включая (i) мультимодальную привязку, такую как понимание референциальных выражений и привязку фраз, (ii) мультимодальную референцию, такую как генерацию референциальных выражений, (iii) задачи восприятия и языка, а также (iv) понимание и генерацию языка. Эта работа закладывает основу для развития воплощенного ИИ и проливает свет на большое сближение языка, мультимодального восприятия, действия и моделирования мира, что является ключевым шагом на пути к искусственному общему интеллекту. Данные, демонстрация и предобученные модели доступны по адресу https://aka.ms/kosmos-2.

English

We introduce Kosmos-2, a Multimodal Large Language Model (MLLM), enabling new capabilities of perceiving object descriptions (e.g., bounding boxes) and grounding text to the visual world. Specifically, we represent refer expressions as links in Markdown, i.e., ``[text span](bounding boxes)'', where object descriptions are sequences of location tokens. Together with multimodal corpora, we construct large-scale data of grounded image-text pairs (called GrIT) to train the model. In addition to the existing capabilities of MLLMs (e.g., perceiving general modalities, following instructions, and performing in-context learning), Kosmos-2 integrates the grounding capability into downstream applications. We evaluate Kosmos-2 on a wide range of tasks, including (i) multimodal grounding, such as referring expression comprehension, and phrase grounding, (ii) multimodal referring, such as referring expression generation, (iii) perception-language tasks, and (iv) language understanding and generation. This work lays out the foundation for the development of Embodiment AI and sheds light on the big convergence of language, multimodal perception, action, and world modeling, which is a key step toward artificial general intelligence. Data, demo, and pretrained models are available at https://aka.ms/kosmos-2.