SmolDocling: Een ultra-compact visueel-taalmodel voor end-to-end multimodale documentconversie

SmolDocling: An ultra-compact vision-language model for end-to-end multi-modal document conversion

March 14, 2025

Auteurs: Ahmed Nassar, Andres Marafioti, Matteo Omenetti, Maksym Lysak, Nikolaos Livathinos, Christoph Auer, Lucas Morin, Rafael Teixeira de Lima, Yusik Kim, A. Said Gurbuz, Michele Dolfi, Miquel Farré, Peter W. J. Staar

cs.AI

Samenvatting

We introduceren SmolDocling, een ultracompact vision-language model gericht op end-to-end documentconversie. Ons model verwerkt volledige pagina's door DocTags te genereren, een nieuw universeel opmaakformaat dat alle pagina-elementen in hun volledige context met locatie vastlegt. In tegenstelling tot bestaande benaderingen die vertrouwen op grote foundation models, of ensembles die gebruikmaken van handmatig samengestelde pipelines van meerdere gespecialiseerde modellen, biedt SmolDocling een end-to-end conversie voor het nauwkeurig vastleggen van inhoud, structuur en ruimtelijke locatie van documentelementen in een vision-language model met 256M parameters. SmolDocling toont robuuste prestaties in het correct reproduceren van documentkenmerken zoals codelijsten, tabellen, vergelijkingen, grafieken, lijsten en meer, over een breed scala aan documenttypen, waaronder zakelijke documenten, academische artikelen, technische rapporten, patenten en formulieren -- wat aanzienlijk verder gaat dan de gebruikelijke focus op wetenschappelijke artikelen. Daarnaast dragen we nieuwe, publiek beschikbare datasets bij voor het herkennen van grafieken, tabellen, vergelijkingen en code. Experimentele resultaten tonen aan dat SmolDocling kan concurreren met andere Vision Language Models die tot 27 keer groter zijn, terwijl de rekenvereisten aanzienlijk worden verminderd. Het model is momenteel beschikbaar, de datasets zullen binnenkort openbaar worden gemaakt.

English

We introduce SmolDocling, an ultra-compact vision-language model targeting end-to-end document conversion. Our model comprehensively processes entire pages by generating DocTags, a new universal markup format that captures all page elements in their full context with location. Unlike existing approaches that rely on large foundational models, or ensemble solutions that rely on handcrafted pipelines of multiple specialized models, SmolDocling offers an end-to-end conversion for accurately capturing content, structure and spatial location of document elements in a 256M parameters vision-language model. SmolDocling exhibits robust performance in correctly reproducing document features such as code listings, tables, equations, charts, lists, and more across a diverse range of document types including business documents, academic papers, technical reports, patents, and forms -- significantly extending beyond the commonly observed focus on scientific papers. Additionally, we contribute novel publicly sourced datasets for charts, tables, equations, and code recognition. Experimental results demonstrate that SmolDocling competes with other Vision Language Models that are up to 27 times larger in size, while reducing computational requirements substantially. The model is currently available, datasets will be publicly available soon.