SmolDocling: Un modelo ultracompacto de visión y lenguaje para la conversión multimodal de documentos de extremo a extremo

SmolDocling: An ultra-compact vision-language model for end-to-end multi-modal document conversion

March 14, 2025

Autores: Ahmed Nassar, Andres Marafioti, Matteo Omenetti, Maksym Lysak, Nikolaos Livathinos, Christoph Auer, Lucas Morin, Rafael Teixeira de Lima, Yusik Kim, A. Said Gurbuz, Michele Dolfi, Miquel Farré, Peter W. J. Staar

cs.AI

Resumen

Presentamos SmolDocling, un modelo ultracompacto de visión y lenguaje enfocado en la conversión de documentos de extremo a extremo. Nuestro modelo procesa páginas completas de manera integral generando DocTags, un nuevo formato de marcado universal que captura todos los elementos de la página en su contexto completo con ubicación. A diferencia de los enfoques existentes que dependen de modelos fundamentales de gran escala, o soluciones de ensamblaje que utilizan pipelines manuales de múltiples modelos especializados, SmolDocling ofrece una conversión de extremo a extremo para capturar con precisión el contenido, la estructura y la ubicación espacial de los elementos del documento en un modelo de visión y lenguaje de 256M parámetros. SmolDocling muestra un rendimiento robusto al reproducir correctamente características de documentos como listados de código, tablas, ecuaciones, gráficos, listas y más, en una amplia gama de tipos de documentos que incluyen documentos empresariales, artículos académicos, informes técnicos, patentes y formularios, extendiéndose significativamente más allá del enfoque comúnmente observado en artículos científicos. Además, contribuimos con nuevos conjuntos de datos de acceso público para el reconocimiento de gráficos, tablas, ecuaciones y código. Los resultados experimentales demuestran que SmolDocling compite con otros modelos de visión y lenguaje que son hasta 27 veces más grandes en tamaño, mientras reduce sustancialmente los requisitos computacionales. El modelo está actualmente disponible, y los conjuntos de datos estarán disponibles públicamente pronto.

English

We introduce SmolDocling, an ultra-compact vision-language model targeting end-to-end document conversion. Our model comprehensively processes entire pages by generating DocTags, a new universal markup format that captures all page elements in their full context with location. Unlike existing approaches that rely on large foundational models, or ensemble solutions that rely on handcrafted pipelines of multiple specialized models, SmolDocling offers an end-to-end conversion for accurately capturing content, structure and spatial location of document elements in a 256M parameters vision-language model. SmolDocling exhibits robust performance in correctly reproducing document features such as code listings, tables, equations, charts, lists, and more across a diverse range of document types including business documents, academic papers, technical reports, patents, and forms -- significantly extending beyond the commonly observed focus on scientific papers. Additionally, we contribute novel publicly sourced datasets for charts, tables, equations, and code recognition. Experimental results demonstrate that SmolDocling competes with other Vision Language Models that are up to 27 times larger in size, while reducing computational requirements substantially. The model is currently available, datasets will be publicly available soon.