ModernVBERT: Auf dem Weg zu kleineren visuellen Dokumentenretrieval-Systemen

ModernVBERT: Towards Smaller Visual Document Retrievers

October 1, 2025

papers.authors: Paul Teiletche, Quentin Macé, Max Conti, Antonio Loison, Gautier Viaud, Pierre Colombo, Manuel Faysse

cs.AI

papers.abstract

Multimodale Embedding-Modelle gewinnen zunehmend an Bedeutung, insbesondere für die Dokumentenrecherche als effiziente Alternative zu rein textbasierten Pipelines. Diese Modelle werden typischerweise durch das Feinabstimmen großer Vision-Language-Decoder (VLMs) mit kontrastiven Verlustfunktionen auf Text-Bild-Paaren entwickelt. In dieser Arbeit zeigen wir, dass dieser Ansatz der Wiederverwendung, obwohl kosteneffizient, oft die Retrieval-Leistung begrenzt. Durch kontrollierte Experimente etablieren wir ein fundiertes Rezept zur Verbesserung von visuellen Dokumentenretrieval-Modellen. Insbesondere messen wir den Einfluss von Attention-Masking, Bildauflösung, Modalitätsausrichtungsdatenregimen und kontrastiven Zielen mit späten Interaktionen, die sich als zentrale Leistungsfaktoren herausstellen. Aufbauend auf diesen Erkenntnissen veröffentlichen wir ModernVBERT, einen kompakten Vision-Language-Encoder mit 250 Millionen Parametern, der Modelle, die bis zu 10-mal größer sind, bei der Feinabstimmung auf Dokumentenretrieval-Aufgaben übertrifft. Modelle und Code sind unter https://huggingface.co/ModernVBERT verfügbar.

English

Multimodal embedding models are gaining prevalence, notably for document retrieval as efficient alternatives to text-only pipelines. These models are typically built by finetuning large vision-language decoders (VLMs) with contrastive losses on text-image pairs. In this work, we show that, while cost-efficient, this repurposing approach often bottlenecks retrieval performance. Through controlled experiments, we establish a principled recipe for improving visual document retrieval models. We notably measure the impact of attention masking, image resolution, modality alignment data regimes, and late interaction centered contrastive objectives which emerge as central performance factors. Building on these insights, we release ModernVBERT, a compact 250M-parameter vision-language encoder that outperforms models up to 10 times larger when finetuned on document retrieval tasks. Models and code are made available at https://huggingface.co/ModernVBERT.