MonkeyOCRv2: 문서 AI를 위한 시각-텍스트 파운데이션 모델

초록

주류 시각 인코더는 자연 이미지에 사전 학습되어 있어 문서 지향적인 적응 없이는 문서 이미지에 효과적으로 적용될 수 없는데, 이는 조밀한 텍스트와 미세한 문자 획이 문자 수준의 시각적 인지를 요구하기 때문이다. 본 논문에서는 문서 AI를 위한 시각-텍스트 사전 학습 모델인 MonkeyOCRv2를 제시한다. 첫째, 우리가 아는 한 가장 큰 문서 이미지 사전 학습 말뭉치인 MonkeyDoc v2를 구축하였으며, 이는 17개 언어에 걸쳐 1억 1300만 개의 이미지로 구성된다. 둘째, 이미지-텍스트 생성과 픽셀 수준의 문서 재구성을 공동으로 학습하는 사전 학습 전략을 제안한다. 전자는 시각적 표현을 텍스트 내용과 정렬하고, 후자는 문자 획과 레이아웃 세부 사항을 보존한다. 텍스트 인식, 수식 인식, 텍스트 검출, 문서 변조 탐지, 겹치는 텍스트 분할을 포함한 다섯 가지 대표적인 문서 분석 작업에 대해 광범위한 실험을 수행했다. MonkeyOCRv2로 원래 인코더를 교체하면 다섯 작업 모두에서 일관되게 성능이 향상되었다. 마지막으로, 보다 도전적인 문서 파싱 및 문서 이해 작업에서 다중 모달 대규모 언어 모델의 시각 인코더로서의 효과성을 검증했다. 동결 상태로 유지하고 경량 언어 모델과 결합했을 때, 0.7B 문서 파싱 모델을 생성하여 MDPBench에서 새로운 오픈소스 최첨단 성능을 달성했으며, 이는 디지털 생성 및 촬영 문서를 17개 언어로 포괄하는 최신 벤치마크로, 약 11배 더 큰 시각 인코더를 가진 이전 최고 모델인 3B dots.mocr을 절대 성능 2.8% 초과했다. 동결 인코더는 또한 CLIP, DINO 및 SAM을 기반으로 한 대응 모델을 동일한 학습 설정에서 8개 벤치마크에 걸쳐 능가하는 문서 이해 모델을 구동한다. 이러한 결과는 문서 지향 시각 사전 학습이 그 자체로 문서 지능의 기반이 될 수 있음을 시사한다.

English

Mainstream visual encoders are pretrained on natural images and cannot be effectively applied to document images without document-oriented adaptation, as dense text and fine-grained character strokes demand character-level visual perception. We present MonkeyOCRv2, a visual-text pretrained model for document AI. First, we construct MonkeyDoc v2, to our knowledge the largest document-image pretraining corpus, comprising 113 million images spanning 17 languages. Second, we propose a pretraining strategy that jointly learns image-to-text generation and pixel-level document reconstruction: the former aligns visual representations with textual content, while the latter preserves character strokes and layout details. Extensive experiments are conducted on five representative document analysis tasks, including text recognition, formula recognition, text detection, document tampering detection, and overlapping text segmentation. Replacing the original encoders with MonkeyOCRv2 consistently improves performance across all five tasks. Finally, we validate its effectiveness as the vision encoder of multimodal large language models on the more challenging tasks of document parsing and document understanding. Kept frozen and paired with a lightweight language model, it yields a 0.7B document parsing model that sets a new open-source state-of-the-art on MDPBench, a recent benchmark spanning digital-born and photographed documents across 17 languages, surpassing the previous best 3B dots.mocr by 2.8% absolute with a vision encoder roughly 11times smaller. The frozen encoder also powers a document understanding model that outperforms counterparts built on CLIP, DINO, and SAM across eight benchmarks under identical training settings. These results suggest that document-oriented visual pretraining can serve as a foundation for document intelligence in its own right.