SmolDocling : Un modèle vision-langage ultra-compact pour la conversion multimodale de documents de bout en bout

SmolDocling: An ultra-compact vision-language model for end-to-end multi-modal document conversion

March 14, 2025

Auteurs: Ahmed Nassar, Andres Marafioti, Matteo Omenetti, Maksym Lysak, Nikolaos Livathinos, Christoph Auer, Lucas Morin, Rafael Teixeira de Lima, Yusik Kim, A. Said Gurbuz, Michele Dolfi, Miquel Farré, Peter W. J. Staar

cs.AI

Résumé

Nous présentons SmolDocling, un modèle vision-langage ultra-compact dédié à la conversion de documents de bout en bout. Notre modèle traite intégralement des pages entières en générant des DocTags, un nouveau format de balisage universel qui capture tous les éléments de la page dans leur contexte complet avec leur localisation. Contrairement aux approches existantes qui s'appuient sur de grands modèles de base, ou aux solutions d'ensemble reposant sur des pipelines artisanaux de multiples modèles spécialisés, SmolDocling propose une conversion de bout en bout pour capturer avec précision le contenu, la structure et la localisation spatiale des éléments d'un document dans un modèle vision-langage de 256 millions de paramètres. SmolDocling démontre une performance robuste dans la reproduction fidèle des caractéristiques des documents telles que les listings de code, les tableaux, les équations, les graphiques, les listes, et bien d'autres, couvrant une diversité de types de documents incluant les documents d'entreprise, les articles académiques, les rapports techniques, les brevets et les formulaires — dépassant ainsi largement le focus habituel sur les articles scientifiques. De plus, nous contribuons avec de nouveaux jeux de données issus de sources publiques pour la reconnaissance de graphiques, tableaux, équations et code. Les résultats expérimentaux montrent que SmolDocling rivalise avec d'autres modèles vision-langage jusqu'à 27 fois plus grands, tout en réduisant substantiellement les besoins en calcul. Le modèle est actuellement disponible, et les jeux de données seront bientôt accessibles au public.

English

We introduce SmolDocling, an ultra-compact vision-language model targeting end-to-end document conversion. Our model comprehensively processes entire pages by generating DocTags, a new universal markup format that captures all page elements in their full context with location. Unlike existing approaches that rely on large foundational models, or ensemble solutions that rely on handcrafted pipelines of multiple specialized models, SmolDocling offers an end-to-end conversion for accurately capturing content, structure and spatial location of document elements in a 256M parameters vision-language model. SmolDocling exhibits robust performance in correctly reproducing document features such as code listings, tables, equations, charts, lists, and more across a diverse range of document types including business documents, academic papers, technical reports, patents, and forms -- significantly extending beyond the commonly observed focus on scientific papers. Additionally, we contribute novel publicly sourced datasets for charts, tables, equations, and code recognition. Experimental results demonstrate that SmolDocling competes with other Vision Language Models that are up to 27 times larger in size, while reducing computational requirements substantially. The model is currently available, datasets will be publicly available soon.