ModernVBERT : Vers des récupérateurs visuels de documents plus compacts

ModernVBERT: Towards Smaller Visual Document Retrievers

October 1, 2025

papers.authors: Paul Teiletche, Quentin Macé, Max Conti, Antonio Loison, Gautier Viaud, Pierre Colombo, Manuel Faysse

cs.AI

papers.abstract

Les modèles d'encodage multimodaux gagnent en popularité, notamment pour la recherche de documents en tant qu'alternatives efficaces aux pipelines basés uniquement sur le texte. Ces modèles sont généralement construits en affinant des décodeurs vision-langage de grande taille (VLMs) avec des fonctions de perte contrastives sur des paires texte-image. Dans ce travail, nous montrons que, bien que rentable, cette approche de réutilisation limite souvent les performances de recherche. À travers des expériences contrôlées, nous établissons une recette méthodique pour améliorer les modèles de recherche de documents visuels. Nous mesurons notamment l'impact du masquage de l'attention, de la résolution des images, des régimes de données d'alignement des modalités, et des objectifs contrastifs centrés sur l'interaction tardive, qui se révèlent être des facteurs clés de performance. En nous appuyant sur ces insights, nous publions ModernVBERT, un encodeur vision-langage compact de 250 millions de paramètres qui surpasse des modèles jusqu'à 10 fois plus grands lorsqu'il est affiné pour des tâches de recherche de documents. Les modèles et le code sont disponibles à l'adresse https://huggingface.co/ModernVBERT.

English

Multimodal embedding models are gaining prevalence, notably for document retrieval as efficient alternatives to text-only pipelines. These models are typically built by finetuning large vision-language decoders (VLMs) with contrastive losses on text-image pairs. In this work, we show that, while cost-efficient, this repurposing approach often bottlenecks retrieval performance. Through controlled experiments, we establish a principled recipe for improving visual document retrieval models. We notably measure the impact of attention masking, image resolution, modality alignment data regimes, and late interaction centered contrastive objectives which emerge as central performance factors. Building on these insights, we release ModernVBERT, a compact 250M-parameter vision-language encoder that outperforms models up to 10 times larger when finetuned on document retrieval tasks. Models and code are made available at https://huggingface.co/ModernVBERT.