BiCA: Эффективный плотный поиск в биомедицинской сфере с использованием сложных негативных примеров с учетом цитирований

BiCA: Effective Biomedical Dense Retrieval with Citation-Aware Hard Negatives

November 11, 2025

Авторы: Aarush Sinha, Pavan Kumar S, Roshan Balaji, Nirav Pravinbhai Bhatt

cs.AI

Аннотация

Жесткие негативные примеры играют ключевую роль в обучении эффективных моделей информационного поиска. Традиционно их выбор основан на ранжировании документов с помощью кросс-энкодеров или статических моделей эмбеддингов, использующих метрики схожести, такие как косинусное расстояние. Однако для биомедицинской и научной областей выбор жестких негативов осложняется трудностью различения исходного документа и жесткого негатива. При этом документы, на которые есть ссылки, естественным образом обладают контекстуальной связью с исходным документом, но не являются его дубликатами, что делает их идеальными кандидатами в жесткие негативы. В данной работе мы предлагаем BiCA: биомедицинский плотный поиск с учетом цитирования для выбора жестких негативов — метод, который использует цитатные ссылки в 20 000 статей из PubMed для улучшения специализированной компактной модели плотного поиска. Мы дообучаем модели GTE_small и GTE_Base на этих негативных примерах, учитывающих цитирование, и наблюдаем устойчивое улучшение качества zero-shot плотного поиска по метрике nDCG@10 как для внутридоменных, так и для внешних задач на наборе BEIR, а также превосходство над базовыми методами по метрике Success@5 для редких тем в LoTTE. Наши результаты демонстрируют потенциал использования структуры связей между документами для генерации высокоинформативных негативных примеров, что позволяет достигать передовых результатов при минимальном дообучении и открывает путь к высокоэффективной адаптации моделей для конкретной предметной области.

English

Hard negatives are essential for training effective retrieval models. Hard-negative mining typically relies on ranking documents using cross-encoders or static embedding models based on similarity metrics such as cosine distance. Hard negative mining becomes challenging for biomedical and scientific domains due to the difficulty in distinguishing between source and hard negative documents. However, referenced documents naturally share contextual relevance with the source document but are not duplicates, making them well-suited as hard negatives. In this work, we propose BiCA: Biomedical Dense Retrieval with Citation-Aware Hard Negatives, an approach for hard-negative mining by utilizing citation links in 20,000 PubMed articles for improving a domain-specific small dense retriever. We fine-tune the GTE_small and GTE_Base models using these citation-informed negatives and observe consistent improvements in zero-shot dense retrieval using nDCG@10 for both in-domain and out-of-domain tasks on BEIR and outperform baselines on long-tailed topics in LoTTE using Success@5. Our findings highlight the potential of leveraging document link structure to generate highly informative negatives, enabling state-of-the-art performance with minimal fine-tuning and demonstrating a path towards highly data-efficient domain adaptation.