Kosmos-2.5: マルチモーダル・リテラシーモデル

Kosmos-2.5: A Multimodal Literate Model

September 20, 2023

著者: Tengchao Lv, Yupan Huang, Jingye Chen, Lei Cui, Shuming Ma, Yaoyao Chang, Shaohan Huang, Wenhui Wang, Li Dong, Weiyao Luo, Shaoxiang Wu, Guoxin Wang, Cha Zhang, Furu Wei

cs.AI

要旨

Kosmos-2.5を紹介します。これは、テキストが豊富な画像の機械読み取りのためのマルチモーダルリテラシーモデルです。大規模なテキスト豊富な画像で事前学習されたKosmos-2.5は、2つの異なるが協調的な転写タスクに優れています：(1) 空間認識テキストブロックの生成。各テキストブロックに画像内の空間座標を割り当てます。(2) スタイルと構造をマークダウン形式で捉えた構造化テキスト出力の生成。この統一されたマルチモーダルリテラシー能力は、共有Transformerアーキテクチャ、タスク固有のプロンプト、柔軟なテキスト表現を通じて実現されています。Kosmos-2.5を、エンドツーエンドのドキュメントレベルのテキスト認識と画像からマークダウンへのテキスト生成で評価します。さらに、このモデルは、教師ありファインチューニングを通じて異なるプロンプトを用いたテキスト豊富な画像理解タスクに容易に適応可能であり、テキストが豊富な画像を含む実世界のアプリケーションのための汎用ツールとなります。この研究は、マルチモーダル大規模言語モデルの将来のスケーリングへの道も開きます。

English

We present Kosmos-2.5, a multimodal literate model for machine reading of text-intensive images. Pre-trained on large-scale text-intensive images, Kosmos-2.5 excels in two distinct yet cooperative transcription tasks: (1) generating spatially-aware text blocks, where each block of text is assigned its spatial coordinates within the image, and (2) producing structured text output that captures styles and structures into the markdown format. This unified multimodal literate capability is achieved through a shared Transformer architecture, task-specific prompts, and flexible text representations. We evaluate Kosmos-2.5 on end-to-end document-level text recognition and image-to-markdown text generation. Furthermore, the model can be readily adapted for any text-intensive image understanding task with different prompts through supervised fine-tuning, making it a general-purpose tool for real-world applications involving text-rich images. This work also paves the way for the future scaling of multimodal large language models.