Kosmos-2.5: Un Modelo Literato Multimodal

Kosmos-2.5: A Multimodal Literate Model

September 20, 2023

Autores: Tengchao Lv, Yupan Huang, Jingye Chen, Lei Cui, Shuming Ma, Yaoyao Chang, Shaohan Huang, Wenhui Wang, Li Dong, Weiyao Luo, Shaoxiang Wu, Guoxin Wang, Cha Zhang, Furu Wei

cs.AI

Resumen

Presentamos Kosmos-2.5, un modelo multimodal alfabetizado para la lectura automática de imágenes intensivas en texto. Preentrenado en grandes volúmenes de imágenes con alto contenido textual, Kosmos-2.5 destaca en dos tareas de transcripción distintas pero complementarias: (1) la generación de bloques de texto espacialmente conscientes, donde cada bloque de texto se asigna a sus coordenadas espaciales dentro de la imagen, y (2) la producción de salidas de texto estructurado que capturan estilos y estructuras en formato markdown. Esta capacidad multimodal alfabetizada unificada se logra mediante una arquitectura Transformer compartida, indicaciones específicas por tarea y representaciones de texto flexibles. Evaluamos Kosmos-2.5 en el reconocimiento de texto a nivel de documento de extremo a extremo y en la generación de texto de imagen a markdown. Además, el modelo puede adaptarse fácilmente para cualquier tarea de comprensión de imágenes intensivas en texto mediante ajustes supervisados con diferentes indicaciones, convirtiéndolo en una herramienta de propósito general para aplicaciones del mundo real que involucran imágenes ricas en texto. Este trabajo también allana el camino para la futura escalabilidad de modelos de lenguaje multimodal de gran escala.

English

We present Kosmos-2.5, a multimodal literate model for machine reading of text-intensive images. Pre-trained on large-scale text-intensive images, Kosmos-2.5 excels in two distinct yet cooperative transcription tasks: (1) generating spatially-aware text blocks, where each block of text is assigned its spatial coordinates within the image, and (2) producing structured text output that captures styles and structures into the markdown format. This unified multimodal literate capability is achieved through a shared Transformer architecture, task-specific prompts, and flexible text representations. We evaluate Kosmos-2.5 on end-to-end document-level text recognition and image-to-markdown text generation. Furthermore, the model can be readily adapted for any text-intensive image understanding task with different prompts through supervised fine-tuning, making it a general-purpose tool for real-world applications involving text-rich images. This work also paves the way for the future scaling of multimodal large language models.