SmolDocling: Un modello visione-linguaggio ultra-compatto per la conversione multimodale end-to-end di documenti

SmolDocling: An ultra-compact vision-language model for end-to-end multi-modal document conversion

March 14, 2025

Autori: Ahmed Nassar, Andres Marafioti, Matteo Omenetti, Maksym Lysak, Nikolaos Livathinos, Christoph Auer, Lucas Morin, Rafael Teixeira de Lima, Yusik Kim, A. Said Gurbuz, Michele Dolfi, Miquel Farré, Peter W. J. Staar

cs.AI

Abstract

Presentiamo SmolDocling, un modello visione-linguaggio ultra-compatto progettato per la conversione end-to-end di documenti. Il nostro modello elabora in modo completo intere pagine generando DocTags, un nuovo formato di markup universale che cattura tutti gli elementi della pagina nel loro contesto completo con posizione. A differenza degli approcci esistenti che si basano su modelli fondazionali di grandi dimensioni, o su soluzioni ensemble che utilizzano pipeline artigianali di più modelli specializzati, SmolDocling offre una conversione end-to-end per catturare accuratamente contenuto, struttura e posizione spaziale degli elementi del documento in un modello visione-linguaggio da 256M parametri. SmolDocling dimostra prestazioni robuste nel riprodurre correttamente caratteristiche del documento come elenchi di codice, tabelle, equazioni, grafici, liste e altro ancora, su una vasta gamma di tipi di documenti tra cui documenti aziendali, articoli accademici, rapporti tecnici, brevetti e moduli, estendendosi significativamente oltre il comune focus sui documenti scientifici. Inoltre, contribuiamo con nuovi dataset di origine pubblica per il riconoscimento di grafici, tabelle, equazioni e codice. I risultati sperimentali dimostrano che SmolDocling compete con altri modelli visione-linguaggio fino a 27 volte più grandi, riducendo sostanzialmente i requisiti computazionali. Il modello è attualmente disponibile, mentre i dataset saranno presto accessibili pubblicamente.

English

We introduce SmolDocling, an ultra-compact vision-language model targeting end-to-end document conversion. Our model comprehensively processes entire pages by generating DocTags, a new universal markup format that captures all page elements in their full context with location. Unlike existing approaches that rely on large foundational models, or ensemble solutions that rely on handcrafted pipelines of multiple specialized models, SmolDocling offers an end-to-end conversion for accurately capturing content, structure and spatial location of document elements in a 256M parameters vision-language model. SmolDocling exhibits robust performance in correctly reproducing document features such as code listings, tables, equations, charts, lists, and more across a diverse range of document types including business documents, academic papers, technical reports, patents, and forms -- significantly extending beyond the commonly observed focus on scientific papers. Additionally, we contribute novel publicly sourced datasets for charts, tables, equations, and code recognition. Experimental results demonstrate that SmolDocling competes with other Vision Language Models that are up to 27 times larger in size, while reducing computational requirements substantially. The model is currently available, datasets will be publicly available soon.