ModernVBERT: Op weg naar compactere visuele documentretrievers

ModernVBERT: Towards Smaller Visual Document Retrievers

October 1, 2025

Auteurs: Paul Teiletche, Quentin Macé, Max Conti, Antonio Loison, Gautier Viaud, Pierre Colombo, Manuel Faysse

cs.AI

Samenvatting

Multimodale inbeddingsmodellen worden steeds meer gebruikt, met name voor documentretrieval als efficiënte alternatieven voor tekstgebaseerde pijplijnen. Deze modellen worden doorgaans gebouwd door grote vision-language decoders (VLMs) te finetunen met contrastieve verliezen op tekst-beeldparen. In dit werk tonen we aan dat, hoewel kostenefficiënt, deze hergebruikaanpak vaak een knelpunt vormt voor de retrievalsprestaties. Door middel van gecontroleerde experimenten stellen we een principieel recept op voor het verbeteren van visuele documentretrievalmodellen. We meten met name de impact van aandachtmaskering, beeldresolutie, modaliteitsuitlijningsdataregimes en contrastieve doelen gericht op late interactie, die naar voren komen als centrale prestatiefactoren. Op basis van deze inzichten brengen we ModernVBERT uit, een compact vision-language encoder-model met 250 miljoen parameters dat, wanneer gefinetuned op documentretrievaltaken, modellen tot 10 keer groter overtreft. Modellen en code zijn beschikbaar op https://huggingface.co/ModernVBERT.

English

Multimodal embedding models are gaining prevalence, notably for document retrieval as efficient alternatives to text-only pipelines. These models are typically built by finetuning large vision-language decoders (VLMs) with contrastive losses on text-image pairs. In this work, we show that, while cost-efficient, this repurposing approach often bottlenecks retrieval performance. Through controlled experiments, we establish a principled recipe for improving visual document retrieval models. We notably measure the impact of attention masking, image resolution, modality alignment data regimes, and late interaction centered contrastive objectives which emerge as central performance factors. Building on these insights, we release ModernVBERT, a compact 250M-parameter vision-language encoder that outperforms models up to 10 times larger when finetuned on document retrieval tasks. Models and code are made available at https://huggingface.co/ModernVBERT.