ModernVBERT: Rumo a Recuperadores Visuais de Documentos Mais Compactos

ModernVBERT: Towards Smaller Visual Document Retrievers

October 1, 2025

Autores: Paul Teiletche, Quentin Macé, Max Conti, Antonio Loison, Gautier Viaud, Pierre Colombo, Manuel Faysse

cs.AI

Resumo

Modelos de incorporação multimodal estão ganhando popularidade, especialmente para recuperação de documentos como alternativas eficientes aos pipelines baseados apenas em texto. Esses modelos são tipicamente construídos por meio de ajuste fino de grandes decodificadores visão-linguagem (VLMs) com perdas contrastivas em pares texto-imagem. Neste trabalho, mostramos que, embora econômica, essa abordagem de reaproveitamento frequentemente limita o desempenho na recuperação. Por meio de experimentos controlados, estabelecemos uma receita fundamentada para melhorar modelos de recuperação visual de documentos. Medimos, em particular, o impacto de máscaras de atenção, resolução de imagem, regimes de dados de alinhamento de modalidades e objetivos contrastivos centrados em interação tardia, que emergem como fatores centrais de desempenho. Com base nessas descobertas, lançamos o ModernVBERT, um codificador visão-linguagem compacto com 250 milhões de parâmetros que supera modelos até 10 vezes maiores quando ajustado para tarefas de recuperação de documentos. Modelos e código estão disponíveis em https://huggingface.co/ModernVBERT.

English

Multimodal embedding models are gaining prevalence, notably for document retrieval as efficient alternatives to text-only pipelines. These models are typically built by finetuning large vision-language decoders (VLMs) with contrastive losses on text-image pairs. In this work, we show that, while cost-efficient, this repurposing approach often bottlenecks retrieval performance. Through controlled experiments, we establish a principled recipe for improving visual document retrieval models. We notably measure the impact of attention masking, image resolution, modality alignment data regimes, and late interaction centered contrastive objectives which emerge as central performance factors. Building on these insights, we release ModernVBERT, a compact 250M-parameter vision-language encoder that outperforms models up to 10 times larger when finetuned on document retrieval tasks. Models and code are made available at https://huggingface.co/ModernVBERT.