Kosmos-2.5: Ein multimodales literarisches Modell

Kosmos-2.5: A Multimodal Literate Model

September 20, 2023

Autoren: Tengchao Lv, Yupan Huang, Jingye Chen, Lei Cui, Shuming Ma, Yaoyao Chang, Shaohan Huang, Wenhui Wang, Li Dong, Weiyao Luo, Shaoxiang Wu, Guoxin Wang, Cha Zhang, Furu Wei

cs.AI

Zusammenfassung

Wir präsentieren Kosmos-2.5, ein multimodales literarisches Modell für das maschinelle Lesen von textintensiven Bildern. Das Modell, das auf groß angelegten textintensiven Bildern vortrainiert wurde, zeichnet sich durch zwei unterschiedliche, aber kooperative Transkriptionsaufgaben aus: (1) die Erzeugung von räumlich bewussten Textblöcken, bei denen jeder Textblock seine räumlichen Koordinaten innerhalb des Bildes zugewiesen bekommt, und (2) die Erzeugung von strukturiertem Text, der Stile und Strukturen im Markdown-Format erfasst. Diese einheitliche multimodale literarische Fähigkeit wird durch eine gemeinsame Transformer-Architektur, aufgabenspezifische Prompts und flexible Textdarstellungen erreicht. Wir evaluieren Kosmos-2.5 in Bezug auf die end-to-end Texterkennung auf Dokumentenebene und die Bild-zu-Markdown-Textgenerierung. Darüber hinaus kann das Modell durch überwachtes Fein-Tuning mit verschiedenen Prompts leicht für jede textintensive Bildverständnisaufgabe angepasst werden, was es zu einem universellen Werkzeug für reale Anwendungen mit textreichen Bildern macht. Diese Arbeit ebnet auch den Weg für die zukünftige Skalierung multimodaler großer Sprachmodelle.

English

We present Kosmos-2.5, a multimodal literate model for machine reading of text-intensive images. Pre-trained on large-scale text-intensive images, Kosmos-2.5 excels in two distinct yet cooperative transcription tasks: (1) generating spatially-aware text blocks, where each block of text is assigned its spatial coordinates within the image, and (2) producing structured text output that captures styles and structures into the markdown format. This unified multimodal literate capability is achieved through a shared Transformer architecture, task-specific prompts, and flexible text representations. We evaluate Kosmos-2.5 on end-to-end document-level text recognition and image-to-markdown text generation. Furthermore, the model can be readily adapted for any text-intensive image understanding task with different prompts through supervised fine-tuning, making it a general-purpose tool for real-world applications involving text-rich images. This work also paves the way for the future scaling of multimodal large language models.