ピクセルテキスト表現学習の設計基礎について

要旨

テキストが豊富な視覚入力には、ピクセル空間内で言語を直接読み取り、検索し、圧縮できるモデルが必要である。しかしながら、既存のピクセルテキストエンコーダは、固定解像度の事前学習、視覚的ショートカット学習、視覚的グラウンディングの弱さ、多言語の視覚テキスト理解といった課題を抱えている。本研究では、堅牢な視覚テキスト表現学習に必要な根本的な設計原理を調査した。系統的な制御アブレーション実験により、以下の4つの重要な構成要素を特定した。(1) 可変の画像解像度とレンダリング時のフォントサイズは、高解像度文書への汎化における空間的プロキシを提供する。(2) 自然な画像・テキストペアはグラウンディングに不可欠であり、テキストのみへの崩壊を防ぐ。(3) レイアウト認識型レンダリングはピクセルレベルのショートカットを防ぐのに有効である。(4) 2段階の多言語カリキュラムは効果的な言語横断的アライメントを可能にする。これらの原理をスケーラブルな学習レシピに統合し、オンザフライレンダリング、統合対比グラウンディング、および2億8000万件の学習サンプルからなる多言語カリキュラムを用いて学習した、ネイティブ解像度の視覚エンコーダであるPixel Linguist IIを訓練した。Pixel Linguist IIは、英語、言語横断的、および多言語のVisual STSとViDoReにおいて新たな最先端（SOTA）結果を達成し、さらにMLLMの下流評価も向上させた。特筆すべき点として、Pixel Linguist IIは80%の視覚トークン圧縮下でも堅牢性を維持し、光学的コンテキスト圧縮への大きな可能性を示している。コードとリソースは https://github.com/Pixel-Linguist/Pixel-Linguist-II で公開している。

English

Text-rich visual inputs require models that can read, retrieve, and compress language directly in pixel space, yet existing pixel-text encoders struggle with fixed resolution pretraining, visual shortcut learning, weak visual grounding, and multilingual visual text understanding. In this work, we investigate the fundamental design principles required for robust visual text representation learning. Through systematic controlled ablations, we identify four critical components: variable image resolutions and rendered font sizes provide spatial proxies for high-resolution document generalization; natural image-text pairs are indispensable for grounding and prevent text-only collapse; layout-aware rendering helps prevent pixel-level shortcuts; and a two-stage multilingual curriculum enables effective cross-lingual alignment. By integrating these principles into a scalable training recipe, we train Pixel Linguist II, a native-resolution vision encoder trained with on-the-fly rendering, unified contrastive grounding, and a multilingual curriculum over 280M training examples. Pixel Linguist II sets new state-of-the-art results on English, cross-lingual, and multilingual Visual STS and ViDoRe, while also enabling better MLLM downstream evaluation. Notably, Pixel Linguist II remains robust under 80\% visual token compression, showing great promise for optical context compression. Our code and resources are available at https://github.com/Pixel-Linguist/Pixel-Linguist-II.