ModernVBERT：より小型の視覚的文書検索モデルに向けて
ModernVBERT: Towards Smaller Visual Document Retrievers
October 1, 2025
著者: Paul Teiletche, Quentin Macé, Max Conti, Antonio Loison, Gautier Viaud, Pierre Colombo, Manuel Faysse
cs.AI
要旨
マルチモーダル埋め込みモデルは、特にテキストのみのパイプラインに代わる効率的な代替手段として、文書検索において普及しつつある。これらのモデルは、通常、テキストと画像のペアに対してコントラスティブ損失を用いて大規模な視覚言語デコーダ（VLM）をファインチューニングすることで構築される。本研究では、この再利用アプローチがコスト効率は高いものの、検索性能のボトルネックとなることが多いことを示す。制御された実験を通じて、視覚的文書検索モデルを改善するための原則的なレシピを確立する。特に、アテンションマスキング、画像解像度、モダリティアライメントデータのレジーム、および後期インタラクションを中心としたコントラスティブ目的関数が主要な性能要因として浮上することを測定する。これらの知見に基づいて、文書検索タスクでファインチューニングされた場合、最大10倍の規模のモデルを上回る、250Mパラメータのコンパクトな視覚言語エンコーダであるModernVBERTを公開する。モデルとコードはhttps://huggingface.co/ModernVBERTで公開されている。
English
Multimodal embedding models are gaining prevalence, notably for document
retrieval as efficient alternatives to text-only pipelines. These models are
typically built by finetuning large vision-language decoders (VLMs) with
contrastive losses on text-image pairs. In this work, we show that, while
cost-efficient, this repurposing approach often bottlenecks retrieval
performance. Through controlled experiments, we establish a principled recipe
for improving visual document retrieval models. We notably measure the impact
of attention masking, image resolution, modality alignment data regimes, and
late interaction centered contrastive objectives which emerge as central
performance factors. Building on these insights, we release ModernVBERT, a
compact 250M-parameter vision-language encoder that outperforms models up to 10
times larger when finetuned on document retrieval tasks. Models and code are
made available at https://huggingface.co/ModernVBERT.