Kosmos-2: Het verankeren van multimodale grote taalmodellen aan de wereld

Kosmos-2: Grounding Multimodal Large Language Models to the World

June 26, 2023

Auteurs: Zhiliang Peng, Wenhui Wang, Li Dong, Yaru Hao, Shaohan Huang, Shuming Ma, Furu Wei

cs.AI

Samenvatting

We introduceren Kosmos-2, een Multimodaal Taalmodel op Grote Schaal (MLLM), dat nieuwe mogelijkheden biedt voor het waarnemen van objectbeschrijvingen (bijvoorbeeld begrenzingsvakken) en het verankeren van tekst in de visuele wereld. Specifiek representeren we verwijzingen als links in Markdown, d.w.z. ``[tekstspan](begrenzingsvakken)'', waarbij objectbeschrijvingen worden weergegeven als reeksen locatietokens. Samen met multimodale corpora construeren we grootschalige data van verankerde beeld-tekstparen (genaamd GrIT) om het model te trainen. Naast de bestaande mogelijkheden van MLLM's (bijvoorbeeld het waarnemen van algemene modaliteiten, het volgen van instructies en het uitvoeren van in-context leren), integreert Kosmos-2 de verankeringsmogelijkheid in downstream-toepassingen. We evalueren Kosmos-2 op een breed scala aan taken, waaronder (i) multimodale verankering, zoals het begrijpen van verwijzingsexpressies en het verankeren van zinsdelen, (ii) multimodale verwijzing, zoals het genereren van verwijzingsexpressies, (iii) perceptie-taaltaken, en (iv) taalbegrip en -generatie. Dit werk legt de basis voor de ontwikkeling van Embodiment AI en werpt licht op de grote convergentie van taal, multimodale perceptie, actie en wereldmodellering, wat een cruciale stap is richting kunstmatige algemene intelligentie. Data, demo's en vooraf getrainde modellen zijn beschikbaar op https://aka.ms/kosmos-2.

English

We introduce Kosmos-2, a Multimodal Large Language Model (MLLM), enabling new capabilities of perceiving object descriptions (e.g., bounding boxes) and grounding text to the visual world. Specifically, we represent refer expressions as links in Markdown, i.e., ``[text span](bounding boxes)'', where object descriptions are sequences of location tokens. Together with multimodal corpora, we construct large-scale data of grounded image-text pairs (called GrIT) to train the model. In addition to the existing capabilities of MLLMs (e.g., perceiving general modalities, following instructions, and performing in-context learning), Kosmos-2 integrates the grounding capability into downstream applications. We evaluate Kosmos-2 on a wide range of tasks, including (i) multimodal grounding, such as referring expression comprehension, and phrase grounding, (ii) multimodal referring, such as referring expression generation, (iii) perception-language tasks, and (iv) language understanding and generation. This work lays out the foundation for the development of Embodiment AI and sheds light on the big convergence of language, multimodal perception, action, and world modeling, which is a key step toward artificial general intelligence. Data, demo, and pretrained models are available at https://aka.ms/kosmos-2.