Kosmos-2.5: Een Multimodaal Geletterd Model

Kosmos-2.5: A Multimodal Literate Model

September 20, 2023

Auteurs: Tengchao Lv, Yupan Huang, Jingye Chen, Lei Cui, Shuming Ma, Yaoyao Chang, Shaohan Huang, Wenhui Wang, Li Dong, Weiyao Luo, Shaoxiang Wu, Guoxin Wang, Cha Zhang, Furu Wei

cs.AI

Samenvatting

We presenteren Kosmos-2.5, een multimodaal geletterd model voor het machinaal lezen van tekstintensieve afbeeldingen. Voorgetraind op grootschalige tekstintensieve afbeeldingen, blinkt Kosmos-2.5 uit in twee verschillende maar samenwerkende transcriptietaken: (1) het genereren van ruimtelijk bewuste tekstblokken, waarbij elk tekstblok zijn ruimtelijke coördinaten binnen de afbeelding krijgt toegewezen, en (2) het produceren van gestructureerde tekstuitvoer die stijlen en structuren vastlegt in het markdown-formaat. Deze verenigde multimodale geletterde capaciteit wordt bereikt door een gedeelde Transformer-architectuur, taakspecifieke prompts en flexibele tekstrepresentaties. We evalueren Kosmos-2.5 op end-to-end tekstherkenning op documentniveau en beeld-naar-markdown tekstgeneratie. Bovendien kan het model eenvoudig worden aangepast voor elke tekstintensieve beeldbegriptaak met verschillende prompts via supervised fine-tuning, waardoor het een algemeen bruikbaar hulpmiddel is voor real-world toepassingen met tekstrijke afbeeldingen. Dit werk baant ook de weg voor toekomstige schaalvergroting van multimodale grote taalmodellen.

English

We present Kosmos-2.5, a multimodal literate model for machine reading of text-intensive images. Pre-trained on large-scale text-intensive images, Kosmos-2.5 excels in two distinct yet cooperative transcription tasks: (1) generating spatially-aware text blocks, where each block of text is assigned its spatial coordinates within the image, and (2) producing structured text output that captures styles and structures into the markdown format. This unified multimodal literate capability is achieved through a shared Transformer architecture, task-specific prompts, and flexible text representations. We evaluate Kosmos-2.5 on end-to-end document-level text recognition and image-to-markdown text generation. Furthermore, the model can be readily adapted for any text-intensive image understanding task with different prompts through supervised fine-tuning, making it a general-purpose tool for real-world applications involving text-rich images. This work also paves the way for the future scaling of multimodal large language models.