Ни одного токена впустую: использование длинного контекста в биомедицинских моделях "визуальный язык"

No Tokens Wasted: Leveraging Long Context in Biomedical Vision-Language Models

October 4, 2025

Авторы: Min Woo Sun, Alejandro Lozano, Javier Gamazo Tejero, Vishwesh Nath, Xiao Xiao Sun, James Burgess, Yuhui Zhang, Kun Yuan, Robert Tibshirani, Sean Huver, Serena Yeung-Levy

cs.AI

Аннотация

Модели, объединяющие визуальные и языковые данные (VLMs), обычно предварительно обучаются на коротких текстовых окнах (<77 токенов), что приводит к усечению длинных описаний. Однако анализ распределения биомедицинских описаний из крупномасштабной открытой литературы показывает, что значительная часть описаний значительно превышает 77 токенов. В связи с этим мы исследуем влияние предварительного обучения на длинные биомедицинские описания, расширяя длину контекста текстовых кодировщиков в VLMs. Мы обнаруживаем, что более длинный контекст (и, следовательно, дополнительная информация, предоставляемая в длинных описаниях) коррелирует с улучшенной производительностью в задачах поиска и классификации. Учитывая это, мы представляем BIOMEDICA-LongCAP — набор данных из 1 миллиона пар изображение-описание, обогащенных контекстно-зависимыми описаниями из полных текстов статей, что обеспечивает более длинное и дополнительное текстовое сопровождение. Используя BIOMEDICA-LongCAP, мы обучаем BMC-LongCLIP — биомедицинскую VLM с длинным контекстом, текстовый кодировщик которой поддерживает окна до 512 токенов. Наша модель увеличивает емкость контекста в 6,6 раза, сокращая потери токенов с 55% до всего 2,2%. На тестах по поиску длинных описаний BMC-LongCLIP демонстрирует абсолютный прирост до +30% в Recall@1 и среднее улучшение на +2% в классификации, а также сходится быстрее, чем модели с коротким контекстом. Наши результаты показывают, что моделирование длинного контекста является перспективным направлением для развития биомедицинских VLMs.

English

Embedding vision-language models (VLMs) are typically pretrained with short text windows (<77 tokens), which forces the truncation of long-format captions. Yet, the distribution of biomedical captions from large-scale open source literature reveals that a huge portion of captions far exceed 77 tokens. To this end, we investigate the impact of pretraining on long-format biomedical captions by extending the context length of text encoders in VLMs. We find that longer context (thus, enabling additional supervision provided in long-format captions) correlates with better retrieval and classification performance. Given this finding, we introduce BIOMEDICA-LongCAP, a dataset of 1M image-caption pairs enriched with context-aware descriptions from full-text articles, providing longer and additional textual supervision. Using BIOMEDICA-LongCAP, we train BMC-LongCLIP, a long-context biomedical VLM with a text encoder supporting windows of up to 512 tokens. Our model extends context capacity by 6.6x, reducing token waste from 55% to just 2.2%. On long-caption retrieval benchmarks, BMC-LongCLIP achieves up to +30% absolute gains in Recall@1 and +2% average improvements in classification, while also converging faster than short-context. Our results demonstrate that long-context modeling is a promising direction for advancing biomedical VLMs.