SmolDocling: 엔드투엔드 다중 모달 문서 변환을 위한 초소형 비전-언어 모델

SmolDocling: An ultra-compact vision-language model for end-to-end multi-modal document conversion

March 14, 2025

저자: Ahmed Nassar, Andres Marafioti, Matteo Omenetti, Maksym Lysak, Nikolaos Livathinos, Christoph Auer, Lucas Morin, Rafael Teixeira de Lima, Yusik Kim, A. Said Gurbuz, Michele Dolfi, Miquel Farré, Peter W. J. Staar

cs.AI

초록

우리는 엔드투엔드 문서 변환을 목표로 하는 초소형 비전-언어 모델인 SmolDocling을 소개한다. 우리의 모델은 페이지 전체를 포괄적으로 처리하며, 모든 페이지 요소를 위치 정보와 함께 전체 맥락에서 포착하는 새로운 범용 마크업 형식인 DocTags를 생성한다. 대형 기반 모델에 의존하거나 여러 전문화된 모델로 구성된 수작업 파이프라인에 의존하는 기존 접근 방식과 달리, SmolDocling은 256M 파라미터의 비전-언어 모델 내에서 문서 요소의 내용, 구조, 공간적 위치를 정확하게 포착하는 엔드투엔드 변환을 제공한다. SmolDocling은 비즈니스 문서, 학술 논문, 기술 보고서, 특허, 양식 등 다양한 문서 유형에 걸쳐 코드 목록, 표, 수식, 차트, 목록 등의 문서 기능을 정확하게 재현하는 강력한 성능을 보여주며, 일반적으로 과학 논문에 초점을 맞추는 경향을 크게 확장한다. 또한, 우리는 차트, 표, 수식, 코드 인식을 위한 새로운 공개 소스 데이터셋을 제공한다. 실험 결과는 SmolDocling이 크기가 최대 27배 큰 다른 비전-언어 모델들과 경쟁하면서도 계산 요구 사항을 상당히 줄이는 것을 보여준다. 이 모델은 현재 사용 가능하며, 데이터셋은 곧 공개될 예정이다.

English

We introduce SmolDocling, an ultra-compact vision-language model targeting end-to-end document conversion. Our model comprehensively processes entire pages by generating DocTags, a new universal markup format that captures all page elements in their full context with location. Unlike existing approaches that rely on large foundational models, or ensemble solutions that rely on handcrafted pipelines of multiple specialized models, SmolDocling offers an end-to-end conversion for accurately capturing content, structure and spatial location of document elements in a 256M parameters vision-language model. SmolDocling exhibits robust performance in correctly reproducing document features such as code listings, tables, equations, charts, lists, and more across a diverse range of document types including business documents, academic papers, technical reports, patents, and forms -- significantly extending beyond the commonly observed focus on scientific papers. Additionally, we contribute novel publicly sourced datasets for charts, tables, equations, and code recognition. Experimental results demonstrate that SmolDocling competes with other Vision Language Models that are up to 27 times larger in size, while reducing computational requirements substantially. The model is currently available, datasets will be publicly available soon.