SmolDocling: Ультракомпактная визуально-языковая модель для сквозного преобразования мультимодальных документов

SmolDocling: An ultra-compact vision-language model for end-to-end multi-modal document conversion

March 14, 2025

Авторы: Ahmed Nassar, Andres Marafioti, Matteo Omenetti, Maksym Lysak, Nikolaos Livathinos, Christoph Auer, Lucas Morin, Rafael Teixeira de Lima, Yusik Kim, A. Said Gurbuz, Michele Dolfi, Miquel Farré, Peter W. J. Staar

cs.AI

Аннотация

Мы представляем SmolDocling — ультракомпактную визуально-языковую модель, ориентированную на сквозное преобразование документов. Наша модель комплексно обрабатывает целые страницы, генерируя DocTags — новый универсальный формат разметки, который фиксирует все элементы страницы в их полном контексте с указанием местоположения. В отличие от существующих подходов, которые полагаются на крупные базовые модели, или ансамблевых решений, использующих ручные цепочки из множества специализированных моделей, SmolDocling предлагает сквозное преобразование для точного захвата содержания, структуры и пространственного расположения элементов документа в модели с 256 миллионами параметров. SmolDocling демонстрирует устойчивую производительность в корректном воспроизведении таких элементов документов, как листинги кода, таблицы, уравнения, диаграммы, списки и многое другое, на широком спектре типов документов, включая бизнес-документы, научные статьи, технические отчеты, патенты и формы, что значительно расширяет традиционный фокус на научных статьях. Кроме того, мы представляем новые публично доступные наборы данных для распознавания диаграмм, таблиц, уравнений и кода. Экспериментальные результаты показывают, что SmolDocling конкурирует с другими визуально-языковыми моделями, которые до 27 раз больше по размеру, при этом существенно снижая вычислительные требования. Модель уже доступна, наборы данных будут опубликованы в ближайшее время.

English

We introduce SmolDocling, an ultra-compact vision-language model targeting end-to-end document conversion. Our model comprehensively processes entire pages by generating DocTags, a new universal markup format that captures all page elements in their full context with location. Unlike existing approaches that rely on large foundational models, or ensemble solutions that rely on handcrafted pipelines of multiple specialized models, SmolDocling offers an end-to-end conversion for accurately capturing content, structure and spatial location of document elements in a 256M parameters vision-language model. SmolDocling exhibits robust performance in correctly reproducing document features such as code listings, tables, equations, charts, lists, and more across a diverse range of document types including business documents, academic papers, technical reports, patents, and forms -- significantly extending beyond the commonly observed focus on scientific papers. Additionally, we contribute novel publicly sourced datasets for charts, tables, equations, and code recognition. Experimental results demonstrate that SmolDocling competes with other Vision Language Models that are up to 27 times larger in size, while reducing computational requirements substantially. The model is currently available, datasets will be publicly available soon.