MonkeyOCRv2: 文書AIのための視覚-テキスト基盤モデル

要旨

主流の視覚エンコーダは自然画像で事前学習されており、文書画像に適用するには文書指向の適応なしでは効果的ではありません。なぜなら、密集したテキストや細かい文字のストロークには文字レベルの視覚認識が必要だからです。我々は、文書AI向けの視覚テキスト事前学習モデルであるMonkeyOCRv2を提案します。まず、113百万枚の画像（17言語をカバー）から成る、我々の知る限り最大の文書画像事前学習コーパスであるMonkeyDoc v2を構築しました。次に、画像からテキストへの生成とピクセルレベルの文書再構成を同時に学習する事前学習戦略を提案します。前者は視覚表現をテキスト内容に合わせるものであり、後者は文字のストロークやレイアウトの詳細を保持します。テキスト認識、数式認識、テキスト検出、文書改ざん検出、重複テキストセグメンテーションという5つの代表的な文書解析タスクで広範な実験を行いました。元のエンコーダをMonkeyOCRv2に置き換えることで、これら5つのタスクすべてで一貫して性能が向上しました。最後に、より困難な文書解析および文書理解タスクにおいて、マルチモーダル大規模言語モデルの視覚エンコーダとしての有効性を検証しました。軽量な言語モデルと組み合わせて凍結することで、0.7Bパラメータの文書解析モデルが得られ、これは17言語のデジタル生成文書及び撮影文書をカバーする最近のベンチマークMDPBenchにおいて、新しいオープンソースの最先端を達成しました。視覚エンコーダは約11倍小さいにもかかわらず、従来の最良モデルである3Bのdots.mocrを絶対値で2.8%上回っています。凍結したエンコーダは、同一の学習設定の下で、CLIP、DINO、SAMに基づくモデルを8つのベンチマークで凌駕する文書理解モデルも実現しています。これらの結果は、文書指向の視覚事前学習が、それ自体で文書インテリジェンスの基盤となり得ることを示唆しています。

English

Mainstream visual encoders are pretrained on natural images and cannot be effectively applied to document images without document-oriented adaptation, as dense text and fine-grained character strokes demand character-level visual perception. We present MonkeyOCRv2, a visual-text pretrained model for document AI. First, we construct MonkeyDoc v2, to our knowledge the largest document-image pretraining corpus, comprising 113 million images spanning 17 languages. Second, we propose a pretraining strategy that jointly learns image-to-text generation and pixel-level document reconstruction: the former aligns visual representations with textual content, while the latter preserves character strokes and layout details. Extensive experiments are conducted on five representative document analysis tasks, including text recognition, formula recognition, text detection, document tampering detection, and overlapping text segmentation. Replacing the original encoders with MonkeyOCRv2 consistently improves performance across all five tasks. Finally, we validate its effectiveness as the vision encoder of multimodal large language models on the more challenging tasks of document parsing and document understanding. Kept frozen and paired with a lightweight language model, it yields a 0.7B document parsing model that sets a new open-source state-of-the-art on MDPBench, a recent benchmark spanning digital-born and photographed documents across 17 languages, surpassing the previous best 3B dots.mocr by 2.8% absolute with a vision encoder roughly 11times smaller. The frozen encoder also powers a document understanding model that outperforms counterparts built on CLIP, DINO, and SAM across eight benchmarks under identical training settings. These results suggest that document-oriented visual pretraining can serve as a foundation for document intelligence in its own right.