ModernVBERT: В направлении компактных визуальных поисковых систем для документов

ModernVBERT: Towards Smaller Visual Document Retrievers

October 1, 2025

Авторы: Paul Teiletche, Quentin Macé, Max Conti, Antonio Loison, Gautier Viaud, Pierre Colombo, Manuel Faysse

cs.AI

Аннотация

Мультимодальные модели эмбеддингов становятся все более распространенными, особенно для задач поиска документов, выступая в качестве эффективной альтернативы текстовым подходам. Эти модели обычно создаются путем дообучения крупных декодеров, работающих с визуальными и текстовыми данными (VLMs), с использованием контрастивных функций потерь на парах текст-изображение. В данной работе мы показываем, что, хотя такой подход является экономически эффективным, он часто ограничивает производительность поиска. С помощью контролируемых экспериментов мы разрабатываем принципиальный подход для улучшения моделей визуального поиска документов. В частности, мы оцениваем влияние маскирования внимания, разрешения изображений, режимов данных для согласования модальностей и контрастивных целей, ориентированных на позднее взаимодействие, которые оказываются ключевыми факторами производительности. На основе этих инсайтов мы представляем ModernVBERT — компактный 250-миллионный энкодер для работы с визуальными и текстовыми данными, который превосходит модели в 10 раз большего размера при дообучении на задачах поиска документов. Модели и код доступны по адресу https://huggingface.co/ModernVBERT.

English

Multimodal embedding models are gaining prevalence, notably for document retrieval as efficient alternatives to text-only pipelines. These models are typically built by finetuning large vision-language decoders (VLMs) with contrastive losses on text-image pairs. In this work, we show that, while cost-efficient, this repurposing approach often bottlenecks retrieval performance. Through controlled experiments, we establish a principled recipe for improving visual document retrieval models. We notably measure the impact of attention masking, image resolution, modality alignment data regimes, and late interaction centered contrastive objectives which emerge as central performance factors. Building on these insights, we release ModernVBERT, a compact 250M-parameter vision-language encoder that outperforms models up to 10 times larger when finetuned on document retrieval tasks. Models and code are made available at https://huggingface.co/ModernVBERT.